JP2015230393A - 撮像装置の制御方法および撮像システム - Google Patents
撮像装置の制御方法および撮像システム Download PDFInfo
- Publication number
- JP2015230393A JP2015230393A JP2014116638A JP2014116638A JP2015230393A JP 2015230393 A JP2015230393 A JP 2015230393A JP 2014116638 A JP2014116638 A JP 2014116638A JP 2014116638 A JP2014116638 A JP 2014116638A JP 2015230393 A JP2015230393 A JP 2015230393A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- subject
- image
- specimen
- arrangement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
- G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Microscoopes, Condenser (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
【課題】被写体の合焦位置の探索を効率的に行うための技術を提供する。【解決手段】第一の配置工程で、複数の撮像素子を光軸方向の異なる位置に配置する。そして、可動式ステージにより被写体を光軸に対し直交する方向に移動させながら、前記複数の撮像素子によって撮像を行うことで、前記被写体に対する光軸方向の焦点位置が異なる複数の画像データを取得する(プレ撮像)。このプレ撮像で取得された前記複数の画像データに基づいて、前記被写体に対する合焦位置を決定する。【選択図】図1
Description
本発明は、複数の撮像素子を用いて被写体を撮像する撮像装置の制御に関する。
病理学の分野で、スライド(プレパラートとも呼ぶ)に載置された検体を撮像してデジタル画像を取得し、ビューワソフトを用いてディスプレイ上での病理診断を可能とするバーチャル・スライド・システムが注目されている。
バーチャル・スライド・システムにおいて、迅速かつ正確な病理診断を行う為には、スライド上の検体の全体像を高速かつ高解像度で撮像する必要がある。システムの実現において、広視野かつ高解像度の対物レンズを用い、レンズの視野内に撮像素子群を配置して、高速かつ高解像度の撮像を行うデジタル顕微鏡装置が提案されている(特許文献1)。
顕微鏡で用いられる対物レンズの被写界深度は極めて浅く、一般的な検体の厚みに対して相対的にかなり狭い範囲となっている。そのため、合焦画像を得るには、観察対象である検体内の組織や細胞が存在する範囲に対して焦点位置を合わせる必要がある。
また、検体の表面は完全な平面であることはなく、検体表面は凹凸(うねり)が存在する。検体内の組織や細胞はこのうねりに沿って分布する傾向にあり、合焦画像を得るのに適切な焦点位置はスライド上の(水平方向の)位置によって異なる場合がある。
また、検体の表面は完全な平面であることはなく、検体表面は凹凸(うねり)が存在する。検体内の組織や細胞はこのうねりに沿って分布する傾向にあり、合焦画像を得るのに適切な焦点位置はスライド上の(水平方向の)位置によって異なる場合がある。
特許文献2では、検体内の異なる深さの層を高速に観察する方法として、検体内の異なる深度範囲をそれぞれ同時に結像させる光学レンズと、層毎に対応して設けられた複数のラインセンサとを用い、複数層の画像を同時に生成する方法が提案されている。
また特許文献3では、デジタルカメラのオートフォーカス(AF)技術として、撮像素子の構造的特徴(段差)を利用することでAF動作における方向判定処理の高速化を実現する提案がされている。光路長を微小距離だけ異ならせて複数の画像信号を収集し、該収集された画像信号に基づき合焦方向を判定し、判定された合焦方向に向かって撮像レンズを合焦位置まで移動させる構成となっている。
また特許文献3では、デジタルカメラのオートフォーカス(AF)技術として、撮像素子の構造的特徴(段差)を利用することでAF動作における方向判定処理の高速化を実現する提案がされている。光路長を微小距離だけ異ならせて複数の画像信号を収集し、該収集された画像信号に基づき合焦方向を判定し、判定された合焦方向に向かって撮像レンズを合焦位置まで移動させる構成となっている。
ここで検体観察の高速化に直接影響する重要な要素として、検体の合焦している画像を的確に取得することが挙げられる。例えば取得した画像にボケが生じていた場合、合焦位置の調整後に再度撮像を行う必要性から、余計な時間を費やしてしまうことになる。
合焦した画像を的確に取得するには、本撮像に先立ち、検体の表面形状や検体内の観察対象の存在範囲(深さ方向、光軸方向)をあらかじめ探索し、その探索結果から算出した検体のz位置(合焦位置)に焦点が合うように各撮像素子を配置すればよい。(以降、合焦した画像が得られる撮像素子の位置を「撮像素子適正位置」と呼ぶ。)
表面形状や観察対象の存在範囲を探索する方法として、従来、レーザ変位計等で計測した位置情報から認識する方法がある。しかし、この方法は、レーザ変位計等の計測装置の
精度に大きく依存するという問題がある。コストを抑えるために性能の低い計測装置を用いたり、計測装置の組み付け精度が悪かったりすると、計測結果から算出した像面と本撮像に用いる結像光学系で形成される像面との間に誤差が生じ、結果として画像にボケが発生することになる。逆に高精度な計測装置の実装や、組み付け精度の向上は、撮像装置の大型化やコスト増大を招くため現実的でない。
表面形状や観察対象の存在範囲を探索する方法として、従来、レーザ変位計等で計測した位置情報から認識する方法がある。しかし、この方法は、レーザ変位計等の計測装置の
精度に大きく依存するという問題がある。コストを抑えるために性能の低い計測装置を用いたり、計測装置の組み付け精度が悪かったりすると、計測結果から算出した像面と本撮像に用いる結像光学系で形成される像面との間に誤差が生じ、結果として画像にボケが発生することになる。逆に高精度な計測装置の実装や、組み付け精度の向上は、撮像装置の大型化やコスト増大を招くため現実的でない。
特許文献3では、撮像素子の構造的特徴(段差)を利用して光路長を微小距離だけ異ならせて複数の画像信号を収集し、該収集された画像信号に基づき合焦方向を判定し、レンズを移動させる構成を取っている。この方法であればレーザ変位計等の計測装置は必要ない。しかしながら、特許文献3の方法では、複数の画像信号を収集する撮像素子と、レンズ調整後に本撮像する撮像素子とが異なるため、撮像素子の違いによる焦点ズレが発生し、高い精度が得られないという問題がある。
合焦位置の探索などの前処理に要する時間は、できるだけ短縮することが望まれる。本撮像の開始及び診断用画像の表示までに待ち時間が発生すると、迅速な病理診断が困難となるからである。また多数のスライドのデジタル化をバッチ処理する場合には、前処理に時間がかかりすぎると、装置全体のスループットが低下し、時間あたりの処理枚数が少なくなってしまう。
本発明は上記課題に鑑みてなされたものであって、被写体の合焦位置の探索を効率的に行うための技術を提供することを目的とする。
本発明の第一態様は、結像光学系と複数の撮像素子と被写体を保持する可動式ステージとを有する撮像装置の制御方法であって、前記複数の撮像素子を光軸方向の異なる位置に配置する第一の配置工程と、前記可動式ステージにより前記被写体を光軸に対し直交する方向に移動させながら、前記第一の配置工程で配置された前記複数の撮像素子によって撮像を行うことで、前記被写体に対する光軸方向の焦点位置が異なる複数の画像データを取得する第一の撮像工程と、前記第一の撮像工程で取得された前記複数の画像データに基づいて、前記被写体に対する合焦位置を決定する合焦位置判断工程と、前記合焦位置判断工程で決定された合焦位置を基準として、前記複数の撮像素子の配置を変更する第二の配置工程と、前記第二の配置工程で配置された前記複数の撮像素子によって前記被写体の撮像を行う第二の撮像工程と、を含むことを特徴とする撮像装置の制御方法である。
本発明の第二態様は、結像光学系と複数の撮像素子と被写体を保持する可動式ステージと制御処理部とを有する撮像システムであって、前記制御処理部は、前記複数の撮像素子を光軸方向の異なる位置に配置する第一の配置工程と、前記可動式ステージにより前記被写体を光軸に対し直交する方向に移動させながら、前記第一の配置工程で配置された前記複数の撮像素子によって撮像を行うことで、前記被写体に対する光軸方向の焦点位置が異なる複数の画像データを取得する第一の撮像工程と、前記第一の撮像工程で取得された前記複数の画像データに基づいて、前記被写体に対する合焦位置を決定する合焦位置判断工程と、前記合焦位置判断工程で決定された合焦位置を基準として、前記複数の撮像素子の配置を変更する第二の配置工程と、前記第二の配置工程で配置された前記複数の撮像素子によって前記被写体の撮像を行う第二の撮像工程と、を含む制御を実行することを特徴とする撮像システムである。
本発明の第三態様は、本発明に係る撮像装置の制御方法の各工程を、前記撮像装置の制御処理部に実行させることを特徴とするプログラムである。
本発明によれば、被写体の合焦位置の探索を効率的に行うことができる。
本発明は、結像光学系と複数の撮像素子を有する撮像装置を用いて、被写体(例えばスライド)を高速かつ高解像で撮像し、高精細なデジタル画像を取得する撮像システムに関する。このシステムは、デジタル顕微鏡システムやバーチャル・スライド・システムとも呼ばれ、病理診断をはじめとする画像検査への応用が期待されている。
前述のように、この種の撮像システムでは、対物レンズの被写界深度が被写体の厚みに比べてかなり小さな値にもかかわらず、被写体内の観察対象(細胞や組織など)の厚さは、サンプルごとにまちまちである。そのため本発明では、本撮像の前に本撮像と同じ撮像系を用いて被写体のプレ撮像を行い、プレ撮像で得られた画像を用いて最適な合焦位置を決定し、その合焦位置を基準にして各撮像素子の位置や姿勢を制御した上で本撮像を行う。
<撮像装置の制御方法の概略>
図1に、プレ撮像と本撮像の大まかな流れを模式的に示す。図1において、10は結像光学系、18は光路を分割する分割光学系、11a〜11cは撮像素子、12は被写体、13は被写体内の観察対象を示す。ここでは、観察対象(画像化したい物体)13が被写体12の真ん中あたりの深さに存在しているものとする。14a〜14cは撮像素子11a〜11cに対応する被写体側の焦点(焦点面)を示す。焦点面14a〜14cは互いに平行であり、光学系(結像光学系及び分割光学系)に対し、撮像素子11a〜11cの受光面と光学的に共役な位置にある。15a〜15cはプレ撮像によって、撮像素子11a〜11cから得られた画像データである。16a〜16cは本撮像によって、撮像素子11a〜11cから得られた画像データである。17は被写体12を保持する可動式ステージである。なお、図1では、結像光学系10の光軸と平行にz軸をとり、被写体12はxy平面に平行に配置されている。可動式ステージは、x方向、y方向、z方向それぞれの移動が可能である。
図1に、プレ撮像と本撮像の大まかな流れを模式的に示す。図1において、10は結像光学系、18は光路を分割する分割光学系、11a〜11cは撮像素子、12は被写体、13は被写体内の観察対象を示す。ここでは、観察対象(画像化したい物体)13が被写体12の真ん中あたりの深さに存在しているものとする。14a〜14cは撮像素子11a〜11cに対応する被写体側の焦点(焦点面)を示す。焦点面14a〜14cは互いに平行であり、光学系(結像光学系及び分割光学系)に対し、撮像素子11a〜11cの受光面と光学的に共役な位置にある。15a〜15cはプレ撮像によって、撮像素子11a〜11cから得られた画像データである。16a〜16cは本撮像によって、撮像素子11a〜11cから得られた画像データである。17は被写体12を保持する可動式ステージである。なお、図1では、結像光学系10の光軸と平行にz軸をとり、被写体12はxy平面に平行に配置されている。可動式ステージは、x方向、y方向、z方向それぞれの移動が可能である。
(1)第一の配置工程
最初の段階では、被写体12に対する合焦位置(つまり、被写体12のどの厚さ方向の位置に各撮像素子11a〜11cの焦点を合わせればよいか)が不明である。そこで、焦点14a〜14cが異なるz位置となるように、各撮像素子11a〜11cの配置(光軸方向の位置、姿勢など)を調整する。図1の例では、焦点14a、14b、14cの順に
段階的に深くなる(被写体12表面からの位置が遠のく)ように、撮像素子11a、11b、11cの配置が設定されている。
最初の段階では、被写体12に対する合焦位置(つまり、被写体12のどの厚さ方向の位置に各撮像素子11a〜11cの焦点を合わせればよいか)が不明である。そこで、焦点14a〜14cが異なるz位置となるように、各撮像素子11a〜11cの配置(光軸方向の位置、姿勢など)を調整する。図1の例では、焦点14a、14b、14cの順に
段階的に深くなる(被写体12表面からの位置が遠のく)ように、撮像素子11a、11b、11cの配置が設定されている。
(2)プレ撮像工程(第一の撮像工程)
第一の配置工程で配置された複数の撮像素子11a〜11cによって、被写体12を撮像する。このとき可動式ステージ17をx方向に移動させながら撮像を行うことで、被写体12のx方向全域(又は必要な範囲)の画像データを得る。可動式ステージ17を連続的に(つまり一定速度で)移動しながら順次画像を取り込むことでx方向全域をスキャンしてもよいし、可動式ステージ17のステップ移動(撮像エリアの変更)と撮像を交互に繰り返してもよい。
第一の配置工程で配置された複数の撮像素子11a〜11cによって、被写体12を撮像する。このとき可動式ステージ17をx方向に移動させながら撮像を行うことで、被写体12のx方向全域(又は必要な範囲)の画像データを得る。可動式ステージ17を連続的に(つまり一定速度で)移動しながら順次画像を取り込むことでx方向全域をスキャンしてもよいし、可動式ステージ17のステップ移動(撮像エリアの変更)と撮像を交互に繰り返してもよい。
その結果、各撮像素子11a〜11cから、被写体12に対する焦点位置が異なる複数の画像データ15a〜15cが得られる。画像データ15a、15b、15cの順に焦点位置が深くなっている。図1の例では、物体13が存在する位置と焦点14bの位置とが一致している。それゆえ、画像データ15bは物体13にピントが合った画像となるが、画像データ15a、15cは物体13がボケた画像となる。
(3)合焦位置判断工程
次に、プレ撮像工程で得られた画像データを比較することにより、合焦画像が得られる焦点の深さ(合焦位置)を判断する。例えば、画像データ15a〜15c内のコントラスト値やエッジ成分を各画像データ間で比較することで、最も合焦している画像が得られた撮像素子を特定し、その撮像素子に設定されている焦点位置を合焦位置として選ぶ。図1の例では、撮像素子11bで得られた画像データ15bが最も合焦しているため、焦点14bの位置が合焦位置として選ばれる。
次に、プレ撮像工程で得られた画像データを比較することにより、合焦画像が得られる焦点の深さ(合焦位置)を判断する。例えば、画像データ15a〜15c内のコントラスト値やエッジ成分を各画像データ間で比較することで、最も合焦している画像が得られた撮像素子を特定し、その撮像素子に設定されている焦点位置を合焦位置として選ぶ。図1の例では、撮像素子11bで得られた画像データ15bが最も合焦しているため、焦点14bの位置が合焦位置として選ばれる。
(4)第二の配置工程
次に、合焦位置判断工程で決定された合焦位置を基準にして、撮像素子11a〜11cを配置し直す。このとき、図1に示すように全ての撮像素子11a〜11cの焦点14a〜14cの位置(深さ)を一致させてもよいし、各撮像素子11a〜11cの焦点14a〜14cの位置(深さ)を異ならせてもよい。焦点14a〜14cの好適な配置は撮像装置の構成、撮像目的などにより異なる。例えば、撮像素子11a〜11cで異なるカラーチャネル(R,G,Bなど)の撮像を行い、1ショットでカラー画像を得る構成の場合には、前者のように焦点位置を一致させるとよい。撮像素子11a〜11cの撮像エリア(xy位置)が互いに異なり、1ショットで広範囲の撮像を行う構成の場合にも、前者のように焦点位置を一致させるとよい。後者の配置は、例えば、合焦位置周辺のz範囲から、焦点位置を少しずつ変えた複数枚の画像データ(zスタック画像と呼ばれる)を取得する処理などに好適である。
次に、合焦位置判断工程で決定された合焦位置を基準にして、撮像素子11a〜11cを配置し直す。このとき、図1に示すように全ての撮像素子11a〜11cの焦点14a〜14cの位置(深さ)を一致させてもよいし、各撮像素子11a〜11cの焦点14a〜14cの位置(深さ)を異ならせてもよい。焦点14a〜14cの好適な配置は撮像装置の構成、撮像目的などにより異なる。例えば、撮像素子11a〜11cで異なるカラーチャネル(R,G,Bなど)の撮像を行い、1ショットでカラー画像を得る構成の場合には、前者のように焦点位置を一致させるとよい。撮像素子11a〜11cの撮像エリア(xy位置)が互いに異なり、1ショットで広範囲の撮像を行う構成の場合にも、前者のように焦点位置を一致させるとよい。後者の配置は、例えば、合焦位置周辺のz範囲から、焦点位置を少しずつ変えた複数枚の画像データ(zスタック画像と呼ばれる)を取得する処理などに好適である。
なお、簡便には、被写体12の全域について、同じ合焦位置を基準にしてよい。ただし、被写体12の表面のうねりや凹凸を無視できない場合には、その表面形状に合わせて各撮像素子11a〜11cの位置や姿勢(傾き)を調整しても良い。例えば、被写体12の表面形状(表面高さ)を基準にして、各焦点14a〜14cの範囲を規定することが好ましい。つまり、被写体12の実際の表面の位置と焦点との間の光軸方向の距離を「焦点の範囲」とみなす。被写体12の表面がうねっている場合、その形状に倣って物体13が分布する傾向にある。それゆえ、表面形状を基準にした焦点の範囲を考慮することで被写体12の全域で合焦位置への焦点合わせが可能となる。
(5)本撮像工程(第二の撮像工程)
第二の配置工程で再配置された複数の撮像素子11a〜11cによって、被写体12の本撮像を実行する。これにより、図1に示すように、全ての撮像素子11a〜11cで合
焦した画像データ16a〜16cを取得することができる。
第二の配置工程で再配置された複数の撮像素子11a〜11cによって、被写体12の本撮像を実行する。これにより、図1に示すように、全ての撮像素子11a〜11cで合
焦した画像データ16a〜16cを取得することができる。
以上述べた方法によれば、本撮像で用いる撮像系を合焦位置の検出にも利用するため、合焦位置検出のための追加設備が不要となり、システム構成の簡易化・小型化ならびにコストの低減を図ることができる。また、同じ撮像系でプレ撮像と本撮像を連続的に行うことができるため、撮像素子の違いによる焦点ズレが発生せず、より高精度な焦点位置合わせが可能となる。さらに、被写体12を移動させながらプレ撮像を行うことで、合焦位置判断に利用する画像データ15a〜15cを高速に取得できるため、本撮像を開始するまでの時間(前処理の時間)を短縮することができる。
可動式ステージ17が、他の装置(スライドを収容するストッカーや、他の計測系など)から被写体12を搬入する搬送手段を兼ねている場合には、被写体12を他の装置から本撮像の撮像位置まで搬入するための移動中にプレ撮像を実施するとよい。このように、被写体12の搬入動作及び搬入時間を利用してプレ撮像を行うことで、プレ撮像の時間を見かけ上小さくでき、前処理の時間を一層短縮することが可能となる。
上述した撮像装置の制御方法を実現するための具体的な構成例について、詳しく説明する。
<第1の実施形態>
本実施形態において、光軸方向をz軸と規定し、z軸と直交する各軸をx軸およびy軸と定義する。ただし、各図の説明で座標軸について明記してある場合は、各図の説明にある座標軸を優先する。
本実施形態において、光軸方向をz軸と規定し、z軸と直交する各軸をx軸およびy軸と定義する。ただし、各図の説明で座標軸について明記してある場合は、各図の説明にある座標軸を優先する。
図2は、本発明の第1の実施形態の撮像システムの全体図である。撮像システム100は、検体180を撮像する撮像装置110、検体180の表面形状情報を取得する検体面形状取得部120、二次元画像の生成や合焦画像の識別をする合焦画像識別部150、表示部としてのモニター160の4つのサブシステムで構成される。各サブシステムは、システム制御部130によって統括的に制御される。本実施形態では、システム制御部130と合焦画像識別部150により、撮像装置110の各種の制御及び演算処理を行う制御処理部が構成されている。
なお、撮像システムの構成は図3に示すものに限定されるものではない。例えば、検体面形状取得部120を撮像装置110に一体化したり、モニター160を合焦画像識別部150に一体化してもよい。また、合焦画像識別部150の機能(画像処理機能、合焦画像識別機能など)を撮像装置110に組み込んでもよい。あるいは、各サブシステムの機能を分割して複数の装置によって実現される構成をとってもよい。
図3は、システム制御部130の機能を実現するハードウェア構成のブロック図である。システム制御部130は、撮像システム100の各部の統括的な制御を担う。例えば、検体面の形状計測、撮像ステージ1140の移動、z軸方向の座標原点の選定、検体上面までの距離計測、撮像部1130の駆動制御、撮像素子1511〜1514の撮像実行指示、合焦画像識別部150への画像データの送り込みなどを行う。システム制御部130は、システム制御を行う装置としてPC(Personal Computer)やPLC(Programmable Logic Controller)であっても良い。ここでは装置としてPCを想定して以降の説明をする。
PCは、CPU(Central Processing Unit)401、RAM(Random Access Memory
)402、記憶装置403、データ入出力I/F405、およびこれらを互いに接続する内部バス404を備える。
)402、記憶装置403、データ入出力I/F405、およびこれらを互いに接続する内部バス404を備える。
CPU401は、必要に応じてRAM402等に適宜アクセスし、制御に伴う各種演算処理を行いながらPCの各ブロック全体を統括的に制御する。
RAM402は、CPU401の作業用領域等として用いられ、OS、実行中の各種プログラム、本発明の特徴である合焦位置を探索する為に動かす撮像ステージ1140、撮像素子ステージ1181〜1184の各種データを一時的に保持する。
ROM403は、CPU401に実行させるOS、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている情報を記録し読み出す補助記憶装置である。HDD(Hard Disk Drive)やSSD(Solid State Disk)等の磁気ディスクドライブもし
くはFlashメモリを用いた半導体デバイスが用いられる。
RAM402は、CPU401の作業用領域等として用いられ、OS、実行中の各種プログラム、本発明の特徴である合焦位置を探索する為に動かす撮像ステージ1140、撮像素子ステージ1181〜1184の各種データを一時的に保持する。
ROM403は、CPU401に実行させるOS、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている情報を記録し読み出す補助記憶装置である。HDD(Hard Disk Drive)やSSD(Solid State Disk)等の磁気ディスクドライブもし
くはFlashメモリを用いた半導体デバイスが用いられる。
データ入出力I/F405には、デバイス制御I/F406を介して、検体面形状取得部120、撮像素子ステージ1181〜1184、撮像ステージ1140に接続される。同様にグラフィクスボード408を介してモニター160と接続される。モニター160は、外部装置として接続される形態を想定しているが、表示装置と一体化したPCを想定してもよい。
図4(a)、図4(b)は、被写体の一例であるスライド(プレパラートともいう)18の構成を示す図である。図4(a)はスライド18の平面図であり、図4(b)はスライド18の側面図である。ここでは、光軸方向をz軸として規定し、z軸と直交する各軸のうち、スライドの長手方向をx軸、短手方向をy軸と定義する。スライド18は、スライドグラス1830、カバーグラス1810、検体180、およびラベル1840から構成されている。スライドグラス1830とカバーグラス1810の間に検体180が封止剤で封入されている。図4(b)に示すように、スライド18の表面は完全に平らであることは少なく、スライドグラス1830、カバーグラス1810或いは検体180の凹凸に起因するうねりが存在する場合が多い。ラベル1840は、検体180を管理する為の管理情報が記録される部材である。管理情報はラベル1840に印字又はペンで記入されていてもよいし、一次元バーコードや二次元コードなどで記録されていてもよいし、ラベル1840に付けられた記録媒体に電気的、磁気的、もしくは光学的な方法で記録されていてもよい。例えばRF−IDタグなどを用いてもよい。
撮像システム100を構成する各要素について説明する。
図2に示すように、撮像装置110は、照明部1160、撮像ステージ1140、結像光学部1120、撮像ステージ位置姿勢計測部1150、撮像部1130、検体上面計測部1170を有する。ここでは、撮像装置110の結像光学部1120の光軸と平行にz軸をとり、光軸に直交し且つ被写体表面に平行にx軸及びy軸をとるものとする。
図2に示すように、撮像装置110は、照明部1160、撮像ステージ1140、結像光学部1120、撮像ステージ位置姿勢計測部1150、撮像部1130、検体上面計測部1170を有する。ここでは、撮像装置110の結像光学部1120の光軸と平行にz軸をとり、光軸に直交し且つ被写体表面に平行にx軸及びy軸をとるものとする。
照明部1160は、撮像ステージ1140上の検体180を照明するユニットであり、光源と光源からの光を検体180に導く光学系を含む。光源は、白色光源や、RGBの各波長の光を切換え可能な光源などを用いることができる。
撮像ステージ位置姿勢計測部1150は、結像光学部1120(の物体面)に対する撮像ステージ1140の位置及び姿勢を計測するユニットである。撮像ステージ位置姿勢計測部1150は、結像光学部1120の鏡筒の周囲(同じ高さ)に配置された3つの距離センサを有している。各距離センサで撮像ステージ1140の上面までの距離を計測し、得られた3点の距離に基づき、結像光学部1120に対する撮像ステージ1140の傾きとxy位置を算出する。なおセンサの数(距離計測点の数)は3つより多くてもよい。撮像ステージ位置姿勢計測部1150での計測には各種の測距センサ、レーザ変位計、静電容量式変位計などを用いることができる。
撮像ステージ1140は、スライド18を保持(支持)し、不図示の移動機構によりx,y,z方向の並進、x軸周り及びy軸周りのチルトが可能な可動式ステージである。また、撮像ステージ1140は、撮像装置110と検体面形状取得部120の間を往来可能であり、検体面形状取得部120から撮像装置110における撮像位置にスライド18を搬入する搬送手段を兼ねている。これにより、撮像ステージ1140上の検体180に対し、検体面形状取得部120による表面形状の計測処理と、撮像装置110による撮像処理とを連続的に実施することが可能となる。撮像ステージ1140の移動機構は、撮像ステージ位置姿勢計測部1150の計測結果を用いて、撮像ステージ1140の位置と姿勢が所望の値となるように制御する。例えば、複数の撮像素子のうち基準となる撮像素子の撮像面と、スライド18の下面や検体存在範囲のうちz方向のある層面が平行になるように、撮像ステージ1140の位置・姿勢を制御するとよい。
撮像ステージ1140の移動機構として様々な機構を用いることができる。例えば、x、y方向の移動は、ボールねじを用いた並進機構で実現でき、z並進、xyチルトは、3つ以上のピエゾ素子を用いた上下機構で実現可能である。図示しないが、撮像ステージ1140がスライドを収容するストッカーからスライドを搬入する手段を兼ねていてもよい。
結像光学部1120は、検体180の光学像を所定の倍率で拡大し、撮像部1130の撮像面に結像させる結像光学系を含むユニットである。
結像光学部1120は、検体180の光学像を所定の倍率で拡大し、撮像部1130の撮像面に結像させる結像光学系を含むユニットである。
撮像部1130の構成を図5(a)、図5(b)に示す。図5(a)は撮像素子1511〜1514、撮像素子ステージ1181〜1184、光路分割プリズム1191〜1193の構成および位置変更を示す説明図であり、図5(b)は、各撮像素子で得られる画像の例である。
撮像素子1511〜1514は、CCD(charge coupled device)やCMOS(complementary metal oxide semiconductor)イメージセンサ等の二次元撮像素子であり、不図示の本体フレームによって保持されている。撮像素子1511〜1514の4つの受光面は、光学系(結像光学部1120および光路分割プリズム1191〜1193)を介して受光面と光学的共役関係にある被写体側の4つの焦点面が互いに平行になるように、配置されている。システム制御部130からの制御指令に応じて、各撮像素子1511〜1514は撮像を行い、それらの撮像データを生成する。なお本実施形態では二次元撮像素子(エリアセンサ)を用いたが、一次元撮像素子(ラインセンサ)を用いてもよい。
各撮像素子1511〜1514には、受光面を光軸に平行な方向に直線移動させるための駆動機構として、撮像素子ステージ1181〜1184及びモータードライバー1185〜1188が設けられている。システム制御部130から出力される制御目標値に応じて、モータードライバー1185〜1188が撮像素子ステージ1181〜1184を駆動し、撮像素子1511〜1514の光軸方向の位置(z位置)及び姿勢を個別に変更できる。撮像素子ステージ1181〜1184は、結像光学部1120の光学倍率の2乗程度の位置決め精度で駆動可能であれば良い。撮像素子の駆動機構は、リニアモータや、直動ボールネジを用いたDCモータ、パルスモータ、VCMなどで駆動する直動システムや、板バネなどの部材弾性変形を利用した案内機構とピエゾアクチュエータを用いた機構などで構成しても良い。
検体上面計測部1170は、撮像ステージ1140に保持された検体180の表面の高さ(光軸方向のz位置)を計測する計測手段である。検体上面計測部1170では、検体180の表面の少なくとも一点(一つのxy座標)についての高さ情報(z位置情報)が取得される。計測には、例えば、レーザ変位計等の距離センサを用いることができる。レーザ変位計ではカバーグラス1810の上面のz位置が計測されるが、これをそのまま検
体上面の高さ情報として出力してもよい。あるいは、カバーグラス厚が既知の場合には、計測結果からカバーグラス1810の下面(カバーグラス1810と検体180の境界)のz位置を計算して出力してもよい。なお、高さの基準となるz方向の座標原点は、例えば、撮像ステージ位置姿勢計測部1150で計測した撮像ステージ1140の位置(つまり、スライド18の下面の位置)にとることができる。
体上面の高さ情報として出力してもよい。あるいは、カバーグラス厚が既知の場合には、計測結果からカバーグラス1810の下面(カバーグラス1810と検体180の境界)のz位置を計算して出力してもよい。なお、高さの基準となるz方向の座標原点は、例えば、撮像ステージ位置姿勢計測部1150で計測した撮像ステージ1140の位置(つまり、スライド18の下面の位置)にとることができる。
検体面形状取得部120(表面形状取得手段)の構成を図6に示す。検体面形状取得部120は、検体180を照明する計測照明部1210と検体180の表面の形状を計測する表面計測部1220を有する。また、計測照明部1210からの光を検体180に反射し検体180からの光を表面計測部1220に通過させる偏光ビームスプリッタ1230、λ/4板1240を有する。計測照明部1210は、半導体レーザや白色LED光源等を光源とし、平行光を照射する。表面計測部1220は、波面を計測するセンサを有し、検体180の表面で反射した光の波面の形状を算出する。検体180の表面の高さは光の光路、長と光の波面の高さに基づき算出される。波面を計測するセンサとしては、シャックハルトマンセンサや干渉計が用いられる。
また、レーザ変位計、接触式位置センサ等の位置計測器により検体180の複数の計測点(xy座標)の高さを計測し、それらの計測点を補間演算することによって表面形状を計算することもできる。計測点の補間演算手法としては、線形補間、高次(例えば三次)の補間など、公知の手法を広く利用することができる。さらには、検体面形状取得部120は、表面形状を測定するのではなく、予め用意された表面形状情報を取得する構成でも良い。例えば、スライド18のラベル1840に表面形状情報が記録されている場合には、検体面形状取得部120はラベル1840から情報を読み取る装置(例えば、バーコードリーダ、二次元コードリーダ、RF−IDリーダなど)でも良い。或いは、検体面形状取得部120は、外部のデータベースやサーバなどからネットワークを介して、表面形状情報を受信する通信装置であっても良い。
合焦画像識別部150は、個々の撮像素子1131が取得した撮像データから二次元画像データを生成後、複数の二次元画像データから合焦している二次元画像データを判別し、合焦画像を撮像した撮像素子1131を特定する機能を有するものである。二次元画像データの合焦は、例えば、画像のコントラスト値やエッジ成分などの特徴量から判断することができる。合焦画像識別部150は、例えばコンピュータと画像処理プログラムで構成しても良く、また画像処理回路基板であっても良い。
モニター160は、合焦画像識別部150が演算処理した結果である複数枚の二次元画像データを表示するものである。CRTや液晶ディスプレイ等の表示装置により構成される。なお、合焦画像識別部150の演算結果を表示するのは、演算結果の正誤の確認をユーザーに行わせるためである。したがって、多数のスライド18をバッチ的に自動処理する場合などには、合焦画像識別部150の演算結果はログに書き出すだけにし、モニター160への表示(つまりユーザの確認)は省略するようにしても良い。
図7(a)は、第1実施形態の合焦位置探索処理における撮像素子1511〜1514の焦点位置の配置を示す断面図である。501はスライドグラス、502は検体、503は封入剤、504はカバーグラスを示す。511〜514はそれぞれ撮像素子群1511〜1514に対応するz方向の焦点位置(焦点面)を示す。プレ撮像する際の撮像ステージ1140の進行方向をx方向とし、図7(a)は、スライド進行方向と直交する面、つまりスライドの短辺方向に切断した面から見た焦点位置511〜514の配置を示している。
第1実施形態の装置構成では、4つの撮像素子1151〜1154の撮像エリア(xy
座標面上の位置)は同一であるが、第一の配置工程において、焦点位置511〜514が互いに異なるz位置(深さ)になるよう配置される。図7(b)は、図7(a)の撮像素子の配置において、各撮像素子1151〜1154の受光面に結像する画像を模式的に示している。焦点位置511、512が検体内に位置する撮像素子1151、1152では明瞭な(ボケのない)画像が得られる。焦点位置513が検体502より若干外れた撮像素子1153では、ややボケた画像が得られる。焦点位置514が検体502から大きく外れた撮像素子1154では、大きくボケた画像が得られる。
座標面上の位置)は同一であるが、第一の配置工程において、焦点位置511〜514が互いに異なるz位置(深さ)になるよう配置される。図7(b)は、図7(a)の撮像素子の配置において、各撮像素子1151〜1154の受光面に結像する画像を模式的に示している。焦点位置511、512が検体内に位置する撮像素子1151、1152では明瞭な(ボケのない)画像が得られる。焦点位置513が検体502より若干外れた撮像素子1153では、ややボケた画像が得られる。焦点位置514が検体502から大きく外れた撮像素子1154では、大きくボケた画像が得られる。
図8は、第1実施形態のプレ撮像工程におけるプレ撮像エリアをz方向からみた模式図である。プレ撮像エリア850は、スライド18の移動方向(x方向)に沿った帯状の領域で示される。プレ撮像エリア850内の個々の矩形枠は、撮像素子1151〜1154の撮像エリアの大きさ(つまり撮像系の視野の大きさ)を示している。図8の例では、スライド18をx方向に移動しながら、11回の撮像を行うことで、プレ撮像エリア850の画像データを取得できることが分かる。一回の撮像で得られる撮像データを以後「タイル画像データ」と呼ぶ。
本実施形態では、第一の配置工程において、図7(a)に示すように、z方向の焦点位置が互いに異なるように各撮像素子1151〜1154の受光面を配置する。そして、撮像ステージ1140をx方向に連続移動又はステップ移動させながら、撮像素子1151〜1154による撮像を繰り返し実行する。これにより、スライド18のxy面上の同一エリアについて、異なる深さに焦点を合わせた4種類の画像データが同時に取得できる。
プレ撮像工程では、スライド18の移動方向(x方向)の全域をプレ撮像エリアに設定してもよいが、図8に示すように、xy面内で検体が存在しないエリアについては、プレ撮像エリアから除外したり、あるいは、撮像後にタイル画像データを破棄してもよい。
一方、プレ撮像では、スライド18の移動方向に直交する方向(y方向)に対するスキャンは行われない。つまり、プレ撮像エリアのy方向の幅は、タイル画像1枚分の幅(視野のy方向の大きさ)に等しい。このように、プレ撮像におけるスキャン方向を一方向(x方向)に限定することで、プレ撮像の時間を短縮できる効果がある。また、スライド又は検体の全域ではなく、一部の領域(x方向に沿った帯状の領域)のみの画像データを利用することで、合焦位置の判断処理を高速化できるという効果もある。
次に、図9のフローチャートを用いて、撮像システム100の動作を説明する。
まずは、撮像ステージ1140の上面にスライド18をセットし、検体面形状取得部120に設置する。スライド18のセットは、ユーザーが行っても良いし、不図示の搬送機構(例えば、多数のスライドを収容するストッカーからスライドを一枚ずつ撮像ステージ1140に繰り出す機構など)により自動で行っても良い。
まずは、撮像ステージ1140の上面にスライド18をセットし、検体面形状取得部120に設置する。スライド18のセットは、ユーザーが行っても良いし、不図示の搬送機構(例えば、多数のスライドを収容するストッカーからスライドを一枚ずつ撮像ステージ1140に繰り出す機構など)により自動で行っても良い。
検体面形状取得部120は、スライドのxy面内における検体の存在範囲、z方向の存在範囲、検体の表面形状を計測し、その計測データ(以下、プロファイルデータと呼ぶ)をシステム制御部130内のメモリに記憶する(ステップS901)。システム制御部130は、プロファイルデータから検体が存在する範囲を算出する(ステップS902)。
システム制御部130は、算出した検体の存在範囲を基に、z基準位置およびyスキャン位置の初期値を決定する(ステップS903)。z基準位置とは、複数の撮像素子のうち基準となる撮像素子(以下、基準撮像素子ともいう)の焦点面(以下、基準面ともいう)を配置するz軸上の位置(つまり検体内の深さ)である。yスキャン位置とは、プレ撮像エリアを配置するy軸上の位置である。
複数の焦点面(本実施形態では4つ)のうち一番上のものを基準面とする場合は、例えば、検体表面のz位置の平均値をz基準位置にすればよい。あるいは、複数の焦点面のうち中央のもの(4つの場合は二番目か三番目のもの)を基準面とする場合には、例えば、検体のz方向の存在範囲の中央値をz基準位置にすればよい。yスキャン位置については、検体のxy面内の存在範囲に基づき決定される。望ましくはプレ撮像エリア内にできるだけ検体が多く含まれるように、yスキャン位置を設定するとよい。例えば、検体のx方向の存在範囲(x方向の幅)を複数のy座標について評価し、x方向の幅が最も大きいy座標をyスキャン位置に選ぶことができる。つまり、検体のx方向の幅が最も大きい部分に合わせてプレ撮像エリアを配置するのである。あるいは、検体のy方向の存在範囲の中央の座標をyスキャン位置に選んでもよい。
ステップS903で求めた初期値を基に、実際に合焦位置探索処理で用いるz基準位置およびyスキャン位置の設定値を確定する(ステップS904)。なお、初期値をそのまま合焦位置探索処理に用いるのであれば、ステップS904の処理は省略してもよい。
ステップS904の設定値確定の処理の流れを、図13のフローチャートを用いて説明する。
システム制御部130はまずメモリからz基準位置とyスキャン位置の初期値を読み込む(ステップS1601)。そして、システム制御部130は読み込んだ初期値の変更の要否を判断する(ステップS1602)。ステップS1602では、ユーザーに変更要否を問い合わせてもよいし、予め設定されている変更要否設定に従って判断してもよいし、検体面形状取得部120で計測したデータ又はステップS903で求めた初期値の信頼性を基に変更要否を判断してもよい。変更不要の場合(ステップS1602のNo)には、初期値がそのまま使用される。変更要の場合(ステップS1602のYes)は、システム制御部130はユーザーによる手動設定か、検出値による自動設定のいずれかを行う。手動設定の場合は、例えば、マウスやキーボードのような入力装置により、z基準位置とyスキャン位置の所望値をユーザーに指定させる(ステップS1604)。自動設定の場合は、例えば、検体面形状取得部120の計測結果(プロファイルデータ)から検体の厚みを検出し、検体の厚みが最も薄い部分がプレ撮像エリアに含まれるようにyスキャン位置を設定する(ステップS1605)。検体の厚みが薄い部分をプレ撮像エリアに選ぶ理由は、検体が厚い部分に比べて検体が薄い部分の方が合焦する範囲が狭いからである。検体の厚みは、例えば、検体を透過する光量の大きさにより検出可能である。なお、z基準位置については、初期値をそのまま用いてもよいし、yスキャン位置におけるxz断面での検体の存在範囲に基づいてz基準位置の設定値を決めてもよい。
システム制御部130はまずメモリからz基準位置とyスキャン位置の初期値を読み込む(ステップS1601)。そして、システム制御部130は読み込んだ初期値の変更の要否を判断する(ステップS1602)。ステップS1602では、ユーザーに変更要否を問い合わせてもよいし、予め設定されている変更要否設定に従って判断してもよいし、検体面形状取得部120で計測したデータ又はステップS903で求めた初期値の信頼性を基に変更要否を判断してもよい。変更不要の場合(ステップS1602のNo)には、初期値がそのまま使用される。変更要の場合(ステップS1602のYes)は、システム制御部130はユーザーによる手動設定か、検出値による自動設定のいずれかを行う。手動設定の場合は、例えば、マウスやキーボードのような入力装置により、z基準位置とyスキャン位置の所望値をユーザーに指定させる(ステップS1604)。自動設定の場合は、例えば、検体面形状取得部120の計測結果(プロファイルデータ)から検体の厚みを検出し、検体の厚みが最も薄い部分がプレ撮像エリアに含まれるようにyスキャン位置を設定する(ステップS1605)。検体の厚みが薄い部分をプレ撮像エリアに選ぶ理由は、検体が厚い部分に比べて検体が薄い部分の方が合焦する範囲が狭いからである。検体の厚みは、例えば、検体を透過する光量の大きさにより検出可能である。なお、z基準位置については、初期値をそのまま用いてもよいし、yスキャン位置におけるxz断面での検体の存在範囲に基づいてz基準位置の設定値を決めてもよい。
次に、システム制御部130は、確定したz基準位置の設定値をもとに、複数の撮像素子それぞれの位置を設定する(ステップS905)。
図14にステップS905の処理の一例を示す。システム制御部130は、z基準位置の設定値を読み込む(ステップS1701)。次にシステム制御部130は設定情報を取得する(ステップS1702)。設定情報は、プレ撮像に用いる撮像素子の数、焦点面の配置間隔、検体のz方向の存在範囲を含む。撮像素子の数と焦点面の配置間隔の情報はシステムに予め設定されている。検体のz方向の存在範囲については、例えば、プロファイルデータからプレ撮像エリアの部分の検体の存在範囲を抽出するとよい。
図14にステップS905の処理の一例を示す。システム制御部130は、z基準位置の設定値を読み込む(ステップS1701)。次にシステム制御部130は設定情報を取得する(ステップS1702)。設定情報は、プレ撮像に用いる撮像素子の数、焦点面の配置間隔、検体のz方向の存在範囲を含む。撮像素子の数と焦点面の配置間隔の情報はシステムに予め設定されている。検体のz方向の存在範囲については、例えば、プロファイルデータからプレ撮像エリアの部分の検体の存在範囲を抽出するとよい。
システム制御部130は、複数の撮像素子のうちの一つを基準撮像素子に選び、その基準撮像素子に対し、ステップS1701で読み込んだz基準位置の値を設定する(ステップS1703)。次にシステム制御部130は、z基準位置と配置間隔の情報に基づいて基準面以外の焦点面のz位置を計算し、計算したz位置を基準撮像素子以外の撮像素子に対して設定する(ステップS1704)。例えば、基準面を一番上にし残りの3つの焦点面を等間隔に配置する場合に、z基準位置がz0、基準面同士の間隔がpという設定の場
合には、4つの焦点面のz位置は上から順にz0、z0−p、z0−2×p、z0−3×pのようになる。
合には、4つの焦点面のz位置は上から順にz0、z0−p、z0−2×p、z0−3×pのようになる。
なお、焦点面の配置間隔はどのように設定しても良い。等間隔配置は処理が簡便になるとともに、検体の存在範囲の中を漏れなく探索できるという利点がある。一方、観察する物体がどの辺りのz位置(深さ)に存在するのか予測できる本実施形態の例であれば、そのz位置の近辺では配置間隔を狭くする、というような不等間隔配置も、効率化の観点で好ましい。間隔を狭くするほど合焦位置の検出精度の向上が期待できる。ただし、間隔を狭くしすぎると撮像枚数の増加による処理時間の増大を招くという弊害があるため、検出精度と処理時間のバランスを考慮し、間隔の下限を決めることが望ましい。間隔の上限については、結像光学部1120の被写界深度(撮像素子側の場合は焦点深度)との関係で決めると良い。具体的には、被写体側の焦点面の間隔が被写界深度以下となるように設定する。このように撮像素子配置間隔の上限を定めることで、観察したい物体がどの位置に存在しても、いずれかの撮像素子で合焦した画像を得ることが可能となる。
図9に戻って説明を続ける。システム制御部130は、ステップS905で設定されたz位置(被写体側のz座標)に基づき各撮像素子1511〜1514を配置するz座標を求め、対応するモータードライバー1185〜1188にコマンドを送出する。コマンドに従って撮像素子ステージ1181〜1184が駆動し、各撮像素子1511〜1514を所望のz座標に配置する(ステップS906;第一の配置工程)。同様に、システム制御部130は、撮像ステージ1140を駆動し、撮像部1130の撮像エリアをyスキャン位置に配置する。
次に、システム制御部130は、撮像ステージ1140をx方向に駆動し、検体面形状取得部120から撮像装置110へとスライド18を搬入する(ステップS907)。スライド18は、本撮像の撮像開始位置(例えば、スライド又は検体存在範囲のx方向最後端(図8の左端)の位置)が撮像装置110の視野内に収まる位置まで搬送される。本実施形態では、この搬入動作の最中に、撮像装置110の視野がプレ撮像エリアを通過することを利用し、プレ撮像を実施する。すなわち、システム制御部130は、撮像装置110の視野がプレ撮像エリアに到達するタイミングで、各撮像素子1151〜1154に撮像実行命令を送信し、プレ撮像を行う(ステップS908;第一の撮像工程)。プレ撮像については、スライド18を連続移動させながら順次画像を取り込んでもよいし、スライド18を1ステップずつ移動しながら複数回の撮像を行ってもよい。
各撮像素子1151〜1154から得られた画像データはシステム制御部130を介して合焦画像識別部150に送られ、合焦画像識別部150で必要な処理が施された後、各画像がモニター160に表示される。合焦画像識別部150は、それらの画像のコントラストなどを評価することで、合焦画像があるか否かを判断する(ステップS909;合焦位置判断工程)。合焦画像があれば、システム制御部130は、その画像を取得した撮像素子の位置座標を取得し、これを適正位置基準点とする(ステップS910)。合焦画像の検出結果と適正位置基準点の情報もモニター160に表示される。
プレ撮像で得られた画像や合焦画像の検出結果などをモニター160に表示するのは、ユーザーによる処理結果の確認を可能とするためである。処理結果が妥当でない場合には、ユーザーが手動で合焦画像を選択したり適正位置基準点を設定できるようにしてもよい。なお、ユーザーによる確認や再設定が不要であれば、モニター表示を省略してもよい。
ステップS909において合焦画像が見つからない場合は、システム制御部130は、撮像素子1151〜1154の位置を再設定する(ステップS913、S906)。例えば、焦点面同士の間隔を保持したまま、すべての焦点面が、検体のz方向の存在範囲のう
ち探索済みの範囲以外に焦点面が再配置されるように、各撮像素子1151〜1154の位置を決定するとよい。焦点面のz方向移動は、撮像素子を移動するのではなく、撮像ステージ1140のz方向移動により行ってもよい。焦点面の再配置後にプレ撮像を再実行する(ステップS907、S908)。合焦画像が見つかるまで、同じ動作を繰り返す。検体の厚みが大きく、一回のプレ撮像でz方向の存在範囲をスキャンできない場合には、このように焦点面のz位置を変えながら複数回のプレ撮像が必要になる可能性がある。
ち探索済みの範囲以外に焦点面が再配置されるように、各撮像素子1151〜1154の位置を決定するとよい。焦点面のz方向移動は、撮像素子を移動するのではなく、撮像ステージ1140のz方向移動により行ってもよい。焦点面の再配置後にプレ撮像を再実行する(ステップS907、S908)。合焦画像が見つかるまで、同じ動作を繰り返す。検体の厚みが大きく、一回のプレ撮像でz方向の存在範囲をスキャンできない場合には、このように焦点面のz位置を変えながら複数回のプレ撮像が必要になる可能性がある。
なお、合焦画像が見つからないまま、検体の存在範囲全域のプレ撮像が完了した場合には、焦点面の間隔や配置、検体の探索位置を変更して、合焦画像が見つかるまでプレ撮像を繰り返してもよい。あるいは、コントラスト値やエッジ検出などの合焦判定基準を変更して、プレ撮像を繰り返してもよい。あるいは、高速処理(前処理時間の短縮)を優先するのであれば、ステップS913のような再配置処理は行わず、一回のプレ撮像で得られた画像から必ず合焦位置(適正位置基準点)を決定するようにしてもよい。
適正位置基準点が得られたら、システム制御部130は、適正位置基準点とプロファイルデータに基づき、各撮像素子1151〜1154の適正位置を決定し、すべての撮像素子1151〜1154を再配置する(ステップS911;第二の配置工程)。そしてシステム制御部130が各撮像素子1151〜1154に撮像実行命令を送信し、本撮像を行う(ステップS912;第二の撮像工程)。
本実施形態によれば、撮像ステージの位置決め精度があまり高くなくても、少なくとも一つの合焦した画像を基準にして、その他の撮像素子を適正位置に配置することができるため、ボケの少ない良好な検体の全体画像を取得する事ができる。また、合焦位置検出に用いる撮像系と、検体の本撮像に用いる撮像系が同じであるため、合焦位置検出のための追加設備が不要となり、システム構成の簡易化・小型化ならびにコストの低減を図ることができる。また、被写体12を移動させながらプレ撮像を行うことで、合焦位置判断に利用する画像データを効率的に取得できるため、本撮像を開始するまでの時間(前処理の時間)を短縮することができる。さらに、スライドを撮像位置に搬入する動作及びその搬入時間を利用してプレ撮像を行うため、前処理の時間を一層短縮することが可能となる。
<第2実施形態>
第1実施形態では、複数の撮像素子(図示では4個)を用いて、単一の撮像エリア(xy位置)について異なる深さ(z位置)のタイル画像データを同時に取得した。これに対し、第2実施形態では、複数の撮像エリアのそれぞれについて、異なる深さのタイル画像データを同時に取得する構成を特徴とする。
第1実施形態では、複数の撮像素子(図示では4個)を用いて、単一の撮像エリア(xy位置)について異なる深さ(z位置)のタイル画像データを同時に取得した。これに対し、第2実施形態では、複数の撮像エリアのそれぞれについて、異なる深さのタイル画像データを同時に取得する構成を特徴とする。
本実施形態では、第1実施形態と比較して、z方向の探索範囲(タイル画像データのz方向の階層数)は小さくなるものの、xy面内の探索範囲が広くなるという利点がある。例えば検体がスライド全体に広がっている場合、z方向の検体存在範囲の探索を優先するより、xy面を広域に探索するほうが、短時間で効率的な合焦位置検出を行うことができる。
本発明の第2実施形態における撮像部1130の構成を図10(a)及び図10(b)に示す。本実施形態では、第1実施形態よりも視野の広い結像光学部1120を用い、4つの撮像素子1511〜1514の撮像エリアが視野内に2行2列に隣接して並ぶように、光学系及び撮像素子が配置されている。このような構成により、複数の撮像エリアの画像データを同時に取得することができる。また、撮像素子のz位置を異ならせることで、検体の異なる深さの画像データを取得することもできる。
図11(a)は、第2実施形態の合焦位置探索処理における撮像素子1511〜151
4の焦点位置の配置を示す断面図である。515〜518はそれぞれ撮像素子1511〜1514に対応するz方向の焦点位置(焦点面)を示している。すなわち、図11(a)では、撮像素子1511と1512の焦点位置を同じ深さに設定し、撮像素子1513と1514の焦点位置を同じ深さに設定している。図11(b)は、図11(a)の配置において、各撮像素子1151〜1154の受光面に結像する画像1515〜1518を模式的に示している。撮像素子1151及び1153では、焦点位置515及び517が検体502の中に位置しているため、明瞭な画像1515及び1517が得られる。しかし、撮像素子1152及び1154では、焦点位置516及び518が検体502から外れているため、ボケた画像1516及び1518が得られている。
4の焦点位置の配置を示す断面図である。515〜518はそれぞれ撮像素子1511〜1514に対応するz方向の焦点位置(焦点面)を示している。すなわち、図11(a)では、撮像素子1511と1512の焦点位置を同じ深さに設定し、撮像素子1513と1514の焦点位置を同じ深さに設定している。図11(b)は、図11(a)の配置において、各撮像素子1151〜1154の受光面に結像する画像1515〜1518を模式的に示している。撮像素子1151及び1153では、焦点位置515及び517が検体502の中に位置しているため、明瞭な画像1515及び1517が得られる。しかし、撮像素子1152及び1154では、焦点位置516及び518が検体502から外れているため、ボケた画像1516及び1518が得られている。
なお、図11(a)の例では撮像素子1511と1512の焦点位置を一致させると共に、撮像素子1513と1514の焦点位置を一致させ、2種類の深さについて同時探索するようにしたが、すべての撮像素子の焦点位置を異ならせてもよい。
図12は、第2実施形態のプレ撮像工程におけるプレ撮像エリアをz方向からみた模式図である。2列分のタイル画像データを同時に取得できるため、第1実施形態(図8)に比べてy方向の探索範囲が約2倍に拡大されていることがわかる。
第2実施形態における撮像システム100の動作は、図9、図13、図14で述べたものと同じである。ただし、図14のステップS1704において、基準撮像素子以外の撮像素子のz位置を決定する処理が若干異なる。すなわち、システム制御部130は、基準撮像素子(例えば撮像素子1511)とx方向の位置が同じ撮像素子(例えば撮像素子1512)に対しては、基準撮像素子と同じz位置を設定する。そして、基準撮像素子とx方向の位置が異なる撮像素子(例えば、撮像素子1513、1514)に対しては、基準撮像素子とは異なる深さのz位置を設定する。なお、本実施形態では2行2列に撮像素子を並べているが、x方向、y方向それぞれに3つ以上の撮像素子を並べてもよい。その場合、x方向に並んだ撮像素子のz位置が互いに異なるように設定されるとよい。z位置の配置間隔については第1実施形態と同様、どのように設定しても良い。
以上述べた本実施形態の構成によれば、複数の撮像素子(図示では4個)を用いて、複数の撮像エリア(xy位置)のそれぞれから異なる深さ(z位置)のタイル画像データを同時に取得し、xy面内を広域に探索することが可能となる。したがって、例えば検体がスライド全体に広がっている場合などに、短時間で効率的な合焦位置検出を行うことができる。
<その他の実施形態>
上述した第1から第2の実施形態は本発明の一具体例であり、本発明の範囲はこれらの実施形態の構成に限定されるものではない。上述したシステム構成を適宜変形したものも本発明の範疇に含まれるものである。
上述した第1から第2の実施形態は本発明の一具体例であり、本発明の範囲はこれらの実施形態の構成に限定されるものではない。上述したシステム構成を適宜変形したものも本発明の範疇に含まれるものである。
例えば、上記実施形態では、第一の配置工程において検体ごとに各撮像素子の配置や間隔を決めているが、撮像素子の配置や間隔は予め決められていても良い。具体的には、撮像装置やシステム制御部のメモリに各撮像素子の配置や間隔などの設定値をプリセットしておき、第一の配置工程ではこの設定値に従って撮像素子の配置を制御する。この方法は制御が単純であり、処理を高速にできるという利点がある。
上述した画像処理装置の具体的な実装は、ソフトウェア(プログラム)による実装と、ハードウェアによる実装のいずれも可能である。例えば、画像処理装置に内蔵されたコンピュータ(マイコン、CPU、MPU、FPGA等)のメモリにコンピュータプログラムを格納し、当該コンピュータプログラムをコンピュータに実行させて、各処理を実現させ
てもよい。また、本発明の全部または一部の処理を論理回路により実現するASIC等の専用プロセッサを設けることも好ましい。また、本発明は、クラウド環境におけるサーバーにも適用可能である。
てもよい。また、本発明の全部または一部の処理を論理回路により実現するASIC等の専用プロセッサを設けることも好ましい。また、本発明は、クラウド環境におけるサーバーにも適用可能である。
また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体(つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体)から、上記コンピュータに提供される。よって、上記コンピュータ(CPU、MPU等のデバイスを含む)、上記方法、上記プログラム(プログラムコード、プログラムプロダクトを含む)、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。
10:結像光学系、11a〜11c:撮像素子、12:被写体、14a〜14c:焦点位置、15a〜15c:第一の撮像工程で得られた画像データ、16a〜16c:第二の撮像工程で得られた画像データ、17:可動式ステージ
100:撮像システム、110:撮像装置
100:撮像システム、110:撮像装置
Claims (13)
- 結像光学系と複数の撮像素子と被写体を保持する可動式ステージとを有する撮像装置の制御方法であって、
前記複数の撮像素子を光軸方向の異なる位置に配置する第一の配置工程と、
前記可動式ステージにより前記被写体を光軸に対し直交する方向に移動させながら、前記第一の配置工程で配置された前記複数の撮像素子によって撮像を行うことで、前記被写体に対する光軸方向の焦点位置が異なる複数の画像データを取得する第一の撮像工程と、
前記第一の撮像工程で取得された前記複数の画像データに基づいて、前記被写体に対する合焦位置を決定する合焦位置判断工程と、
前記合焦位置判断工程で決定された合焦位置を基準として、前記複数の撮像素子の配置を変更する第二の配置工程と、
前記第二の配置工程で配置された前記複数の撮像素子によって前記被写体の撮像を行う第二の撮像工程と、
を含むことを特徴とする撮像装置の制御方法。 - 前記可動式ステージが他の装置から被写体を搬入する手段を兼ねており、
前記被写体を搬入するための移動中に前記第一の撮像工程が実行される
ことを特徴とする請求項1に記載の撮像装置の制御方法。 - 前記第一の撮像工程では、前記被写体を一方向にのみ移動させながら撮像が行われる
ことを特徴とする請求項1又は2に記載の撮像装置の制御方法。 - 前記第一の撮像工程では、前記被写体の一部の領域のみの画像データが取得される
ことを特徴とする請求項1〜3のうちいずれか1項に記載の撮像装置の制御方法。 - 前記一部の領域は、前記被写体の移動方向に沿った帯状の領域である
ことを特徴とする請求項4に記載の撮像装置の制御方法。 - 前記被写体は、検体を有するスライドであり、
前記第一の撮像工程では、前記スライドにおける前記検体の存在範囲に基づいて前記一部の領域の位置が設定される
ことを特徴とする請求項4又は5に記載の撮像装置の制御方法。 - 前記被写体は、検体を有するスライドであり、
前記第一の撮像工程では、前記検体の厚みが最も薄い部分を含むように前記一部の領域の位置が設定される
ことを特徴とする請求項4又は5に記載の撮像装置の制御方法。 - 前記第一の配置工程では、前記被写体に対する焦点位置が等間隔となるように、前記複数の撮像素子の配置が設定される
ことを特徴とする請求項1〜7のうちいずれか1項に記載の撮像装置の制御方法。 - 前記第一の配置工程では、前記被写体に対する焦点位置の間隔が前記結像光学系の被写界深度以下となるように、前記複数の撮像素子の配置が設定される
ことを特徴とする請求項1〜8のうちいずれか1項に記載の撮像装置の制御方法。 - 前記被写体は、検体を有するスライドであり、
前記第一の配置工程では、前記検体の光軸方向の存在範囲の中に前記複数の撮像素子に対応する焦点位置が含まれるように、前記複数の撮像素子の配置が設定される
ことを特徴とする請求項1〜9のうちいずれか1項に記載の撮像装置の制御方法。 - 前記合焦位置判断工程では、前記第一の撮像工程で前記複数の撮像素子の各々から得られた画像データの比較により、合焦画像が得られた撮像素子を特定し、前記特定した撮像素子に設定されている焦点位置を、前記合焦位置として選択する
ことを特徴とする請求項1〜10のうちいずれか1項に記載の撮像装置の制御方法。 - 結像光学系と複数の撮像素子と被写体を保持する可動式ステージと制御処理部とを有する撮像システムであって、
前記制御処理部は、
前記複数の撮像素子を光軸方向の異なる位置に配置する第一の配置工程と、
前記可動式ステージにより前記被写体を光軸に対し直交する方向に移動させながら、前記第一の配置工程で配置された前記複数の撮像素子によって撮像を行うことで、前記被写体に対する光軸方向の焦点位置が異なる複数の画像データを取得する第一の撮像工程と、
前記第一の撮像工程で取得された前記複数の画像データに基づいて、前記被写体に対する合焦位置を決定する合焦位置判断工程と、
前記合焦位置判断工程で決定された合焦位置を基準として、前記複数の撮像素子の配置を変更する第二の配置工程と、
前記第二の配置工程で配置された前記複数の撮像素子によって前記被写体の撮像を行う第二の撮像工程と、
を含む制御を実行することを特徴とする撮像システム。 - 請求項1〜11のうちいずれか1項に記載の撮像装置の制御方法の各工程を、前記撮像装置の制御処理部に実行させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014116638A JP2015230393A (ja) | 2014-06-05 | 2014-06-05 | 撮像装置の制御方法および撮像システム |
US14/725,074 US20150358533A1 (en) | 2014-06-05 | 2015-05-29 | Control method for imaging apparatus and imaging system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014116638A JP2015230393A (ja) | 2014-06-05 | 2014-06-05 | 撮像装置の制御方法および撮像システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015230393A true JP2015230393A (ja) | 2015-12-21 |
Family
ID=54770557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014116638A Pending JP2015230393A (ja) | 2014-06-05 | 2014-06-05 | 撮像装置の制御方法および撮像システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20150358533A1 (ja) |
JP (1) | JP2015230393A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1079778C (zh) * | 1996-03-20 | 2002-02-27 | 株式会社日立制作所 | 升降机控制系统 |
WO2019044424A1 (ja) | 2017-08-29 | 2019-03-07 | 富士フイルム株式会社 | 撮影制御装置、方法およびプログラム |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6455829B2 (ja) * | 2013-04-01 | 2019-01-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP6438276B2 (ja) * | 2014-11-04 | 2018-12-12 | オリンパス株式会社 | 顕微鏡システム |
US10698111B2 (en) * | 2015-05-15 | 2020-06-30 | Sikorsky Aircraft Corporation | Adaptive point cloud window selection |
US10613308B2 (en) * | 2016-11-30 | 2020-04-07 | Yuefeng YIN | Method and microscope for measuring and calculating heights on curved surface of microscope slide |
WO2019065144A1 (ja) | 2017-09-29 | 2019-04-04 | 富士フイルム株式会社 | 観察装置、観察方法および観察プログラム |
WO2019077610A1 (en) * | 2017-10-19 | 2019-04-25 | Scopio Labs Ltd. | DEPTH DETECTION BASED ON DEPTH |
CN108387517B (zh) * | 2018-02-26 | 2024-07-05 | 深圳市生强科技有限公司 | 切片扫描方法及系统 |
US10520301B1 (en) * | 2018-12-31 | 2019-12-31 | Mitutoyo Corporation | Method for measuring Z height values of a workpiece surface with a machine vision inspection system |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7538879B2 (en) * | 2004-03-30 | 2009-05-26 | Power Joan F | Light profile microscopy apparatus and method |
JP2006039315A (ja) * | 2004-07-28 | 2006-02-09 | Hamamatsu Photonics Kk | 自動焦点装置及びそれを用いた顕微鏡装置 |
JP2014056078A (ja) * | 2012-09-12 | 2014-03-27 | Canon Inc | 画像取得装置、画像取得システム及び顕微鏡装置 |
-
2014
- 2014-06-05 JP JP2014116638A patent/JP2015230393A/ja active Pending
-
2015
- 2015-05-29 US US14/725,074 patent/US20150358533A1/en not_active Abandoned
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1079778C (zh) * | 1996-03-20 | 2002-02-27 | 株式会社日立制作所 | 升降机控制系统 |
WO2019044424A1 (ja) | 2017-08-29 | 2019-03-07 | 富士フイルム株式会社 | 撮影制御装置、方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20150358533A1 (en) | 2015-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015230393A (ja) | 撮像装置の制御方法および撮像システム | |
KR102411099B1 (ko) | 실시간 오토포커스 스캐닝 | |
JP5941395B2 (ja) | 画像取得装置及び画像取得装置のフォーカス方法 | |
US11153508B2 (en) | Unscanned optical inspection system using a micro camera array | |
KR102419163B1 (ko) | 실시간 오토포커스 포커싱 알고리즘 | |
KR101808388B1 (ko) | 프로브 장치 및 프로브 방법 | |
US20150301327A1 (en) | Image capturing apparatus and image capturing method | |
CN106525622B (zh) | 硬度测试设备和硬度测试方法 | |
US10317663B2 (en) | Determination of deflection of a microscope slide | |
EP3625605B1 (en) | Two-dimensional and three-dimensional fixed z scanning | |
US20240205546A1 (en) | Impulse rescan system | |
WO2015107872A1 (en) | Image acquisition apparatus and control method thereof | |
US10721368B2 (en) | Slide rack determination system | |
US20120314050A1 (en) | Imaging apparatus and control method therefor | |
US11422349B2 (en) | Dual processor image processing | |
WO2018005404A1 (en) | Method and system for measuring geometric parameters of through holes | |
JP2014115331A (ja) | 撮像装置の制御方法、撮像システム | |
JP2002039721A (ja) | 膜厚測定装置、膜厚測定方法および膜厚測定のためのプログラムを記憶した記録媒体 | |
CN118158524A (zh) | 成像方法、装置及系统 | |
US20240378716A1 (en) | System and method for three-dimensional imaging of samples using a machine learning algorithm | |
JP2015220625A (ja) | 画像取得装置および画像取得方法 | |
JP2007071756A (ja) | 寸法測定方法 |