JP2011141391A - Virtual slide forming apparatus and virtual slide forming method - Google Patents
Virtual slide forming apparatus and virtual slide forming method Download PDFInfo
- Publication number
- JP2011141391A JP2011141391A JP2010001423A JP2010001423A JP2011141391A JP 2011141391 A JP2011141391 A JP 2011141391A JP 2010001423 A JP2010001423 A JP 2010001423A JP 2010001423 A JP2010001423 A JP 2010001423A JP 2011141391 A JP2011141391 A JP 2011141391A
- Authority
- JP
- Japan
- Prior art keywords
- stage
- image
- objective lens
- imaging
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000003384 imaging method Methods 0.000 claims abstract description 63
- 230000003287 optical effect Effects 0.000 claims abstract description 19
- 230000007246 mechanism Effects 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000003909 pattern recognition Methods 0.000 claims description 11
- 238000004904 shortening Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 9
- 238000001000 micrograph Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
Images
Landscapes
- Microscoopes, Condenser (AREA)
Abstract
Description
本発明は、バーチャルスライド作成装置およびバーチャルスライド作成方法に関するものである。 The present invention relates to a virtual slide creation device and a virtual slide creation method.
従来、病理診断等の医療の現場では、組織や細胞等の観察対象のごく一部の限定された微細構造を把握するだけでなく、観察対象の全体像も把握しながら診断を行う必要があり、全体像と微細な観察像とを効率的に観察する手法としてバーチャルスライドが知られている(例えば、特許文献1参照。)。
バーチャルスライドは、観察対象の各部を部分的に撮影した高倍率の顕微鏡画像の撮影を、撮影範囲が部分的に重なるようにずらして繰り返し行い、取得された複数枚の顕微鏡画像を画像処理してズレの内容に貼り合わせることにより、仮想的に、観察対象全体を一度に撮影したようなスライド画像を観察可能にするものである。
Conventionally, in the field of medical treatment such as pathological diagnosis, it is necessary not only to grasp the limited fine structure of the observation target such as tissue and cells, but also to perform diagnosis while grasping the whole image of the observation target A virtual slide is known as a method for efficiently observing the whole image and a fine observation image (see, for example, Patent Document 1).
The virtual slide is a high-magnification microscopic image obtained by partially imaging each part of the observation target, repeatedly shifting the imaging range so as to partially overlap, and performing image processing on the acquired multiple microscope images. By pasting it on the content of the shift, it is possible to virtually observe a slide image as if the entire observation object was photographed.
特許文献1に開示されているバーチャルスライド作成方法では、観察対象を搭載したXYステージを駆動して、対物レンズの光軸に対する観察対象の位置をずらして位置決めした各位置において、顕微鏡画像を繰り返し撮影している。そして、取得された複数枚の顕微鏡画像をズレなく貼り合わせるために、隣接する顕微鏡画像にオーバラップを設けて撮影し、オーバラップさせた範囲内で画像パターン認識を行って顕微鏡画像を一致させている。 In the virtual slide creation method disclosed in Patent Document 1, an XY stage equipped with an observation target is driven, and a microscope image is repeatedly photographed at each position positioned by shifting the position of the observation target with respect to the optical axis of the objective lens. is doing. Then, in order to paste together a plurality of acquired microscope images without deviation, adjacent microscope images are photographed with an overlap, image pattern recognition is performed within the overlapped range, and the microscope images are matched. Yes.
しかしながら、オーバラップの幅が大きくなるほど、画像パターン認識のような画像処理に要する時間がかかるようになるという不都合がある。一方、このオーバラップの幅を小さく設定しようとすると、XYステージを精密に位置決めしなければならず、位置決めに要する時間が増加してしまい、顕微鏡画像を取得するのに要する時間が増大してしまうという不都合がある。 However, there is an inconvenience that the longer the overlap width, the longer the time required for image processing such as image pattern recognition. On the other hand, if an attempt is made to set the overlap width to be small, the XY stage must be precisely positioned, which increases the time required for positioning and increases the time required to acquire a microscope image. There is an inconvenience.
本発明は、上述した事情に鑑みてなされたものであって、顕微鏡画像の取得に要する時間を増大させることなく画像処理に要する時間の短縮を図り、バーチャルスライドを得るための所要時間を短縮することができるバーチャルスライド作成装置およびバーチャルスライド作成方法を提供することを目的としている。 The present invention has been made in view of the above-described circumstances, and reduces the time required for image processing without increasing the time required to acquire a microscope image, thereby reducing the time required to obtain a virtual slide. An object of the present invention is to provide a virtual slide creation device and a virtual slide creation method that can perform the above-described process.
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、標本を搭載するステージと、該ステージ上に搭載された標本からの光を集光する対物レンズと、前記ステージおよび前記対物レンズの少なくとも一方を該対物レンズの光軸に交差する方向に相対的に移動させる相対移動機構と、該相対移動機構による前記ステージと前記対物レンズとの相対位置情報を取得する位置検出部と、前記対物レンズにより集光された光を撮影して標本の部分的な拡大画像を取得する撮像部と、該撮像部により取得された拡大画像と該拡大画像の取得時における前記位置検出部により検出された前記ステージと前記対物レンズとの相対位置情報とを対応づけて記憶する記憶部と、該記憶部に記憶されている複数枚の拡大画像を該拡大画像に対応づけて記憶されている相対位置情報を用いて配列する画像処理部とを備えるバーチャルスライド作成装置を提供する。
In order to achieve the above object, the present invention provides the following means.
The present invention provides a stage on which a specimen is mounted, an objective lens that collects light from the specimen mounted on the stage, and a direction in which at least one of the stage and the objective lens intersects the optical axis of the objective lens A relative movement mechanism that moves relative to each other, a position detection unit that obtains relative position information between the stage and the objective lens by the relative movement mechanism, and photographs the light collected by the objective lens An imaging unit that acquires a partial enlarged image, an enlarged image acquired by the imaging unit, and relative position information of the stage and the objective lens detected by the position detection unit at the time of acquisition of the enlarged image Image processing for arranging a storage unit in association with each other and arranging a plurality of enlarged images stored in the storage unit using relative position information stored in association with the enlarged image Providing virtual slide generation device comprising and.
本発明によれば、ステージに標本を搭載して、相対移動機構を作動させることにより、対物レンズと標本とを対物レンズの光軸に交差する方向に相対的に移動させることにより、撮像部によって標本の各部の部分的な拡大画像の取得が可能となる。そして、撮像部の作動により標本の部分的な拡大画像を取得し、その取得時において位置検出部の作動により対物レンズとステージとの相対位置情報が取得され、記憶部には、拡大画像とその取得時における相対位置情報とが対応づけて記憶される。 According to the present invention, by mounting the sample on the stage and operating the relative movement mechanism, the imaging unit moves the objective lens and the sample relative to each other in the direction intersecting the optical axis of the objective lens. A partial enlarged image of each part of the specimen can be acquired. Then, a partial enlarged image of the specimen is acquired by the operation of the imaging unit, and the relative position information between the objective lens and the stage is acquired by the operation of the position detection unit at the time of acquisition, and the enlarged image and the image thereof are stored in the storage unit. The relative position information at the time of acquisition is stored in association with each other.
この場合において、拡大画像の取得時に取得された相対位置情報を拡大画像に対応づけるので、相対移動機構によってステージと対物レンズとを精密に位置決めすることなく、拡大画像に正確な位置情報を付与することができる。すなわち、ステージと対物レンズとの精密な位置決めを行わないので、位置決めに要する時間を短縮することができるとともに、拡大画像には正確な位置情報を付与するので、画像処理部によって拡大画像どうしを配列する際の画像処理に要する時間も短縮することができる。その結果、バーチャルスライドを得るための所要時間を大幅に短縮することができる。 In this case, since the relative position information acquired at the time of acquiring the enlarged image is associated with the enlarged image, accurate position information is given to the enlarged image without precisely positioning the stage and the objective lens by the relative movement mechanism. be able to. In other words, since precise positioning between the stage and the objective lens is not performed, the time required for positioning can be shortened and accurate position information is given to the enlarged image, so that the enlarged images are arranged by the image processing unit. The time required for image processing at the time can be shortened. As a result, the time required to obtain the virtual slide can be greatly shortened.
上記発明においては、前記相対移動機構が、前記ステージおよび前記対物レンズの少なくとも一方を、予め設定された相対的な撮像位置にオープンループ制御によって移動させるとともに、移動終了時点で移動完了信号を出力し、前記撮像部が、前記相対移動機構からの移動完了信号に応じて標本の部分的な拡大画像を取得してもよい。
このようにすることで、検出された相対位置情報に基づいて相対移動機構をフィードバック制御しないので、ステージと対物レンズとの精密な位置決めが行われず、位置決めに要する時間を短縮することができる。
In the above invention, the relative movement mechanism moves at least one of the stage and the objective lens to a preset relative imaging position by open loop control, and outputs a movement completion signal at the end of movement. The imaging unit may acquire a partially enlarged image of the specimen in response to a movement completion signal from the relative movement mechanism.
By doing so, since the relative movement mechanism is not feedback-controlled based on the detected relative position information, the stage and the objective lens are not precisely positioned, and the time required for positioning can be shortened.
また、上記発明においては、前記相対移動機構が、前記ステージおよび前記対物レンズの少なくとも一方の移動パターンを記憶し、該移動パターンに従って移動させてもよい。
このようにすることで、予め設定された移動パターンに従ってステージおよび対物レンズの少なくとも一方を移動させるだけで、各撮像位置への移動のための座標指定やコマンド通信時間を短縮し、さらに短時間でバーチャルスライドを作成することができる。
In the above invention, the relative movement mechanism may store a movement pattern of at least one of the stage and the objective lens and move the movement according to the movement pattern.
In this way, by simply moving at least one of the stage and the objective lens according to a preset movement pattern, the coordinate designation and command communication time for moving to each imaging position can be shortened, and in a shorter time. Virtual slides can be created.
また、前記相対移動機構が、トリガ信号によって、前記ステージおよび前記対物レンズの少なくとも一方を、一の相対的な撮像位置から他の相対的な撮像位置へ移動開始させてもよい。
このようにすることで、トリガ信号に従ってステージおよび対物レンズの少なくとも一方を移動させるだけで、各撮像位置への移動のための座標指定やコマンド通信時間を短縮し、さらに短時間でバーチャルスライドを作成することができる。
The relative movement mechanism may start moving at least one of the stage and the objective lens from one relative imaging position to another relative imaging position by a trigger signal.
In this way, just by moving at least one of the stage and objective lens according to the trigger signal, the coordinate specification and command communication time for moving to each imaging position can be shortened, and a virtual slide can be created in a shorter time. can do.
また、上記発明においては、隣接する前記相対的な撮像位置どうしが、相互にオーバラップする拡大画像を取得可能な位置に設定され、前記画像処理部が、隣接する拡大画像に対応づけて記憶されている相対位置情報に基づいて、拡大画像の中心から等距離に配置される画素列の輝度情報を用いて画像パターン認識処理を実行してもよい。
このようにすることで、隣接する拡大画像間のオーバラップ部分の全体を画像パターン認識に使用しないので、画像処理の処理量を低減し、短時間でバーチャルスライドを作成することができる。すなわち、オーバラップ部分の幅寸法を大きく設定しても、画像パターン認識の所要時間を増大させずに済み、さらに大まかな位置決めだけで足りるので、位置決めに要する時間を大幅に短縮することができる。
In the above invention, the relative imaging positions adjacent to each other are set to positions where enlarged images that overlap each other can be acquired, and the image processing unit is stored in association with the adjacent enlarged images. On the basis of the relative position information, the image pattern recognition process may be executed using the luminance information of the pixel columns arranged at the same distance from the center of the enlarged image.
By doing in this way, since the whole overlap part between adjacent enlarged images is not used for image pattern recognition, the amount of image processing can be reduced and a virtual slide can be created in a short time. That is, even if the width of the overlap portion is set to be large, it is not necessary to increase the time required for image pattern recognition, and only a rough positioning is required, so that the time required for positioning can be greatly shortened.
また、本発明は、標本および該標本の部分的な拡大画像を取得する撮像光学系の少なくとも一方を該撮像光学系の光軸に交差する方向に相対的に移動させる移動ステップと、前記標本と前記撮像光学系との相対位置情報を取得する検出ステップと、該検出ステップにおいて相対位置情報が取得された時点において前記撮像光学系により前記標本の拡大画像を取得する撮影ステップと、該撮影ステップにより取得された拡大画像と該拡大画像の取得時における前記標本と前記撮像光学系との相対位置情報とを対応づけて記憶する記憶ステップと、該記憶ステップにおいて記憶された複数枚の拡大画像を該拡大画像に対応づけて記憶されている相対位置情報に基づいて配列する画像処理ステップとを含むバーチャルスライド作成方法を提供する。 Further, the present invention provides a moving step of relatively moving at least one of a specimen and an imaging optical system that acquires a partially enlarged image of the specimen in a direction intersecting the optical axis of the imaging optical system, A detection step of acquiring relative position information with respect to the imaging optical system, an imaging step of acquiring an enlarged image of the sample by the imaging optical system at the time when the relative position information is acquired in the detection step, and the imaging step. A storage step for storing the acquired enlarged image and the relative position information of the specimen and the imaging optical system at the time of acquisition of the enlarged image, and a plurality of enlarged images stored in the storage step. There is provided a virtual slide creation method including an image processing step of arranging based on relative position information stored in association with an enlarged image.
上記発明においては、前記移動ステップが、隣接する拡大画像をオーバラップさせるように前記標本および前記撮像光学系の少なくとも一方を移動させ、前記画像処理ステップが、隣接する拡大画像に対応づけて記憶されている相対位置情報に基づいて、拡大画像の中心から等距離に配置される画素列の輝度情報を用いて画像パターン認識処理を実行してもよい。 In the above invention, the moving step moves at least one of the specimen and the imaging optical system so as to overlap adjacent enlarged images, and the image processing step is stored in association with the adjacent enlarged images. On the basis of the relative position information, the image pattern recognition process may be executed using the luminance information of the pixel columns arranged at the same distance from the center of the enlarged image.
本発明によれば、顕微鏡画像の取得に要する時間を増大させることなく画像処理に要する時間の短縮を図り、バーチャルスライドを得るための所要時間を短縮することができるという効果を奏する。 According to the present invention, the time required for image processing can be shortened without increasing the time required for acquiring a microscope image, and the time required for obtaining a virtual slide can be shortened.
本発明の一実施形態に係るバーチャルスライド作成装置およびバーチャルスライド作成方法について、図面を参照して以下に説明する。
本実施形態に係るバーチャルスライド作成装置1は、図1に示されるように、顕微鏡本体2と、該顕微鏡本体2を制御するとともにバーチャルスライドを生成する制御部3と、生成されたバーチャルスライドを表示する表示部4とを備えている。
A virtual slide creation device and a virtual slide creation method according to an embodiment of the present invention will be described below with reference to the drawings.
As shown in FIG. 1, the virtual slide creation device 1 according to the present embodiment displays a generated virtual slide, a microscope
顕微鏡本体2は、スライドガラス上に載置された標本Aを搭載するステージ5と、該ステージ5を水平2方向に移動させるモータ(相対移動機構)6a,6bと、該モータ6a,6bにより移動されたステージ5の原点に対する位置(相対位置情報)を検出するセンサ(位置検出部)7a,7bと、標本Aに対向して配置され、標本Aからの光を集光する対物レンズ8と、該対物レンズ8により集光された光を撮影して標本Aの拡大画像を取得するCCDのような撮像部9とを備えている。
The microscope
ステージ5は、モータ6aによって矢印X方向に移動し、モータ6bによって矢印Xに対して直交する矢印Y方向に移動するようになっている。
センサ7a,7bは、ステージ5の位置を検出すると、それを一時的に記憶し、制御部3に向けて送信するようになっている。具体的には、センサ7aがステージ5の矢印X方向の位置を検出し、センサ7bがステージ5の矢印Y方向の位置を検出するようになっている。
また、撮像部9は、標本Aの拡大画像を取得すると、それを一時的に記憶し、制御部3に向けて送信するようになっている。
The
When the position of the
Further, when the enlarged image of the specimen A is acquired, the
制御部3は、図2に示されるように、顕微鏡本体2により取得された画像を記憶する記憶部10と、該記憶部10に記憶された画像を配列してバーチャルスライドを生成する画像処理部11とを備えている。
制御部3は、予め設定された移動パターンを記憶しており、対物レンズ8に対してステージ5を移動パターンに従って移動するようにモータ6a,6bに対して移動指令信号を出力するようになっている。モータ6a,6bは、制御部3により出力される移動指令信号によってオープンループ制御され、移動指令信号に一致する移動量だけステージ5を移動させるようになっている。
As shown in FIG. 2, the
The
制御部3が、移動パターンによって予め定められ位置にステージ5が配置される分の移動量だけモータ6a,6bを作動させると、モータ6a,6bから移動完了信号が発せられるようになっている。制御部3は、移動完了信号を受信すると、センサ7a,7bに対してステージ5の位置情報を検出するよう指令するとともに、顕微鏡本体2の撮像部9に対して画像を取得するよう指令するようになっている。そして、制御部3は、撮像部9による拡大画像の取得が終了した時点で、モータ6a,6bに対してステージ5を移動させるよう指令するようになっている。
When the
センサ7a,7bによる、位置情報の制御部3への送信および撮像部9による画像情報の制御部3への送信は、モータ6a,6bによるステージ5の移動中に行われるようになっている。送信されてきた位置情報と画像情報とは制御部3に設けられた記憶部10に対応づけて記憶されるようになっている。
The transmission of the position information to the
画像処理部11は、記憶部10に記憶されている標本A各部の拡大画像を配列することにより拡大画像を貼り合わせてバーチャルスライドを生成するようになっている。具体的には、標本A各部の拡大画像には、該拡大画像が取得された時点におけるステージ5の位置情報が対応づけて記憶されているので、当該ステージ5の位置情報に従って拡大画像を配列するように合成するだけで、バーチャルスライドを生成することができるようになっている。この画像処理部11による貼り合わせ処理も、モータ6a,6bによるステージ5の移動中に行われるようになっている。
The
このように構成された本実施形態に係るバーチャルスライド生成装置1を用いたバーチャルスライド生成方法について、図3および図4を参照して以下に説明する。
本実施形態に係るバーチャルスライド生成装置1を用いて標本Aのバーチャルスライドを生成するには、まず、制御部3が、予め設定された移動パターンに従って、最初の撮像位置にステージ5を移動させるようモータ6a,6bに対して移動指令信号を出力する(ステップS1)。
A virtual slide generation method using the virtual slide generation device 1 according to the present embodiment configured as described above will be described below with reference to FIGS. 3 and 4.
In order to generate the virtual slide of the specimen A using the virtual slide generating apparatus 1 according to the present embodiment, first, the
モータ6a,6bは、制御部3からの移動指令信号に応じてステージ5を移動させる(ステップS2)。この際、モータ6a,6bはセンサ7a,7bにより検出される位置情報によってフィードバック制御されることなく、制御部3によるオープンループ制御によって、移動指令信号に従う移動量だけ移動して各撮像位置に停止する。そして、撮像位置に停止した時点で、モータ6a,6bは移動完了信号を制御部3に対して出力する(ステップS3)。
The
移動完了信号を受信した制御部3は、センサ7a,7bに対してステージ5の現在位置を記憶するよう指令するとともに、撮像部9に対して現在位置において標本Aの拡大画像の取得を行うように指令する。指令を受けたセンサ7a,7bは、現在位置を一時記憶し、撮像部9は、現在位置における拡大画像を取得し、一時記憶し、撮像完了信号を制御部3に対して出力する(ステップS4)。
The
そして、制御部3は、撮像完了信号を受信した時点で、予め設定された移動パターンに従って、次の撮像位置にステージ5を移動させるようモータ6a,6bに対して移動指令信号(トリガ信号)を出力する(ステップS5)。
モータ6a,6bは制御部3からの移動指令信号に応じてステージ5を移動させる(ステップS6)。撮像部3およびセンサ7a,7bは、モータ6a,6bによるステージ5の移動が開始すると、一時記憶していた拡大画像情報および位置情報を制御部3に対して送信する(ステップS7)。制御部3は、送信されてきた拡大画像情報と位置情報とを対応づけて記憶部10に記憶するとともに、画像処理部11により、記憶部10に記憶されている拡大画像情報をそれに対応づけて記憶されている位置情報に従って貼り合わせることにより、バーチャルスライドを生成する(ステップS8)。
And the
The
この拡大画像情報および位置情報の制御部3への送信、記憶部10への記憶および貼合せ処理は、モータ6a,6bによるステージ5の次の撮像位置への移動中に行われ、移動完了するまでに終了する。その後、ステップS3からの動作が繰り返され、予め設定された移動パターンによって予定されていた全ての撮像位置における拡大画像情報の貼り合わせ処理が終了した時点で、バーチャルスライドの生成処理が終了する(ステップS9)。
The transmission of the enlarged image information and the position information to the
このように、本実施形態に係るバーチャルスライド生成装置1およびバーチャルスライド生成方法によれば、モータ6a,6bの制御をオープンループ制御として、フィードバック制御しないので、機構系のバックラッシュ等の誤差発生要因によって各撮像位置への正確な位置決めは行われないが、位置決め精度を必要としない分だけ、迅速に位置決めすることができる。その一方で、画像と該画像を取得した正確な位置とが対応づけて記憶されるので、図5に示されるように、記憶されている位置に従って画像を配列していくだけで、複雑な画像処理を行うことなく、簡単にバーチャルスライドを生成することができる。すなわち、画像処理に要する時間を短縮でき、短時間でバーチャルスライドを生成することができる。
As described above, according to the virtual slide generation device 1 and the virtual slide generation method according to the present embodiment, the control of the
そして、短時間で移動完了するので、1枚の拡大画像を取得するためのサイクルタイムを短縮することができるとともに、画像処理に要する時間を短縮することで、一の撮像位置から他の撮像位置への移動中に画像の貼り合わせ処理を行うことができる。したがって、複数枚の拡大画像を貼り合わせてバーチャルスライドを生成する時間を大幅に短縮することができるという利点がある。 Since the movement is completed in a short time, the cycle time for acquiring one enlarged image can be shortened, and the time required for image processing can be shortened, so that one imaging position can be changed to another imaging position. The image pasting process can be performed during the movement to. Therefore, there is an advantage that the time for generating a virtual slide by combining a plurality of enlarged images can be greatly reduced.
また、この場合において、機構系の誤差発生要因を見込んだ分だけ撮像範囲が重なるように移動パターンにおける各撮像位置を設定しておくことにより、大まかな位置決めによって撮像されない領域が発生してしまうのを防止することができる。 Also, in this case, by setting each imaging position in the movement pattern so that the imaging ranges overlap as much as the error generation factor of the mechanical system is expected, a region that is not imaged due to rough positioning occurs. Can be prevented.
なお、本実施形態においては、モータ6a,6bをオープンループ制御することにより、フィードバックによる位置決め時間の延長を防止することとしたが、これに代えて、モータのフィードバック制御を行うことにしてもよい。この場合においても、位置決め精度を低下させることができ、結果として位置決め時間を短縮することができる。
In this embodiment, the
また、拡大画像どうしを貼り合わせる処理を、取得した各拡大画像に対応づけて記憶した位置にしたがって画像を配列するだけで行うこととしたが、これに代えて、以下の方法によって、拡大画像を重なり部分において画像パターン認識を行って、拡大画像間の位置ずれを補正することにしてもよい。 In addition, the process of pasting the enlarged images is performed simply by arranging the images according to the positions stored in association with the acquired enlarged images, but instead, the enlarged images are converted by the following method. Image pattern recognition may be performed at the overlapping portion to correct the positional deviation between the enlarged images.
すなわち、撮像位置の位置決めを大まかに行う本実施形態に係るバーチャルスライド画像生成方法では、拡大画像G1,G2間の重なり部分の幅が、精度よく位置決めする場合と比較して比較的大きくなる。このため、重なり部分全体を使って画像パターン認識を行うのでは画像処理に膨大な時間がかかる。そこで、図6に示されるように、センサ7a,7bによって取得した各拡大画像の中心位置P1,P2の座標を用いて、隣接する拡大画像の中心位置P1,P2から等距離に配される数画素の幅αを有する画素列どうしの画像パターン認識を行うことにより、画像処理に要する時間を短縮することができる。
That is, in the virtual slide image generation method according to the present embodiment in which the imaging position is roughly positioned, the width of the overlapping portion between the enlarged images G1 and G2 is relatively large compared to the case where positioning is performed with high accuracy. For this reason, enormous time is required for image processing when image pattern recognition is performed using the entire overlapping portion. Therefore, as shown in FIG. 6, using the coordinates of the center positions P1 and P2 of the enlarged images acquired by the
また、本実施形態においては、制御部3が予め設定されている移動パターンに従って、ステージ5を移動させ、各撮像位置に停止させることとしたが、これに代えて、予め各撮像位置における待ち時間を設定し、待ち時間の経過後に自動的に次の撮像位置への移動が開始されるようにしてもよい。
また、本実施形態においては、対物レンズ8を固定し、標本Aを搭載したステージ5を移動させることとしたが、これに代えて、ステージ5を固定し対物レンズ8を移動させてもよい。また、対物レンズ8およびステージ5の両方を相対的に移動させてもよい。
In the present embodiment, the
In this embodiment, the
1 バーチャルスライド作成装置
5 ステージ
6a,6b モータ(相対移動機構)
7a,7b センサ(位置検出部)
8 対物レンズ
9 撮像部
10 記憶部
11 画像処理部
A 標本
G1,G2 拡大画像
P1,P2 中心
S2 移動ステップ
S4 検出ステップ、撮影ステップ
S7 送信ステップ(記憶ステップ)
S8 画像貼合せステップ(画像処理ステップ)
1 Virtual
7a, 7b Sensor (position detection unit)
8
S8 Image pasting step (image processing step)
Claims (7)
該ステージ上に搭載された標本からの光を集光する対物レンズと、
前記ステージおよび前記対物レンズの少なくとも一方を該対物レンズの光軸に交差する方向に相対的に移動させる相対移動機構と、
該相対移動機構による前記ステージと前記対物レンズとの相対位置情報を取得する位置検出部と、
前記対物レンズにより集光された光を撮影して標本の部分的な拡大画像を取得する撮像部と、
該撮像部により取得された拡大画像と該拡大画像の取得時における前記位置検出部により検出された前記ステージと前記対物レンズとの相対位置情報とを対応づけて記憶する記憶部と、
該記憶部に記憶されている複数枚の拡大画像を該拡大画像に対応づけて記憶されている相対位置情報を用いて配列する画像処理部とを備えるバーチャルスライド作成装置。 A stage with a specimen,
An objective lens that collects light from the specimen mounted on the stage;
A relative movement mechanism for relatively moving at least one of the stage and the objective lens in a direction intersecting the optical axis of the objective lens;
A position detection unit for acquiring relative position information between the stage and the objective lens by the relative movement mechanism;
An imaging unit that captures the light collected by the objective lens and obtains a partially enlarged image of the sample;
A storage unit for storing the enlarged image acquired by the imaging unit and the relative position information of the stage and the objective lens detected by the position detection unit at the time of acquisition of the enlarged image in association with each other;
An image processing unit comprising: an image processing unit that arranges a plurality of enlarged images stored in the storage unit using relative position information stored in association with the enlarged image.
前記撮像部が、前記相対移動機構からの移動完了信号に応じて標本の部分的な拡大画像を取得する請求項1に記載のバーチャルスライド作成装置。 The relative movement mechanism moves at least one of the stage and the objective lens to a preset relative imaging position by open loop control, and outputs a movement completion signal at the end of movement,
The virtual slide creation apparatus according to claim 1, wherein the imaging unit acquires a partially enlarged image of a specimen according to a movement completion signal from the relative movement mechanism.
前記画像処理部が、隣接する拡大画像に対応づけて記憶されている相対位置情報に基づいて、拡大画像の中心から等距離に配置される画素列の輝度情報を用いて画像パターン認識処理を実行する請求項1から請求項4のいずれかに記載のバーチャルスライド作成装置。 The adjacent imaging positions adjacent to each other are set to positions where enlarged images that overlap each other can be acquired,
The image processing unit performs image pattern recognition processing using luminance information of pixel rows arranged at equal distances from the center of the enlarged image based on relative position information stored in association with adjacent enlarged images. The virtual slide creation device according to any one of claims 1 to 4.
前記標本と前記撮像光学系との相対位置情報を取得する検出ステップと、
該検出ステップにおいて相対位置情報が取得された時点において前記撮像光学系により前記標本の拡大画像を取得する撮影ステップと、
該撮影ステップにより取得された拡大画像と該拡大画像の取得時における前記標本と前記撮像光学系との相対位置情報とを対応づけて記憶する記憶ステップと、
該記憶ステップにおいて記憶された複数枚の拡大画像を該拡大画像に対応づけて記憶されている相対位置情報に基づいて配列する画像処理ステップとを含むバーチャルスライド作成方法。 A moving step of relatively moving at least one of the specimen and an imaging optical system that acquires a partially enlarged image of the specimen in a direction intersecting the optical axis of the imaging optical system;
A detection step of acquiring relative position information between the specimen and the imaging optical system;
An imaging step of acquiring an enlarged image of the specimen by the imaging optical system at the time when the relative position information is acquired in the detection step;
A storage step for storing the magnified image acquired by the photographing step and the relative position information of the sample and the imaging optical system in association with acquisition of the magnified image;
An image processing step including arranging a plurality of enlarged images stored in the storing step based on relative position information stored in association with the enlarged images.
前記画像処理ステップが、隣接する拡大画像に対応づけて記憶されている相対位置情報に基づいて、拡大画像の中心から等距離に配置される画素列の輝度情報を用いて画像パターン認識処理を実行する請求項6に記載のバーチャルスライド作成方法。 The moving step moves at least one of the specimen and the imaging optical system so as to overlap adjacent enlarged images;
The image processing step performs image pattern recognition processing using luminance information of pixel rows arranged at equal distances from the center of the enlarged image based on relative position information stored in association with adjacent enlarged images. The virtual slide creation method according to claim 6.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010001423A JP5562653B2 (en) | 2010-01-06 | 2010-01-06 | Virtual slide creation apparatus and virtual slide creation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010001423A JP5562653B2 (en) | 2010-01-06 | 2010-01-06 | Virtual slide creation apparatus and virtual slide creation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011141391A true JP2011141391A (en) | 2011-07-21 |
JP5562653B2 JP5562653B2 (en) | 2014-07-30 |
Family
ID=44457289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010001423A Active JP5562653B2 (en) | 2010-01-06 | 2010-01-06 | Virtual slide creation apparatus and virtual slide creation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5562653B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013050594A (en) * | 2011-08-31 | 2013-03-14 | Keyence Corp | Magnified observation device, magnified observation method and magnified observation program |
WO2013094273A1 (en) | 2011-12-22 | 2013-06-27 | オリンパス株式会社 | Image processing device, imaging device, microscope system, image processing method, and image processing program |
JP2014178781A (en) * | 2013-03-13 | 2014-09-25 | Olympus Corp | Image processor, microscope system and image processing method |
JP2017102405A (en) * | 2015-12-04 | 2017-06-08 | オリンパス株式会社 | Microscope, image pasting method, and program |
JP2017517766A (en) * | 2014-05-23 | 2017-06-29 | エフエフイーアイ リミティド | Improved imaging of microscope samples |
WO2019065050A1 (en) * | 2017-09-27 | 2019-04-04 | 富士フイルム株式会社 | Observation device, observation method, and observation program |
JP2022513007A (en) * | 2018-11-12 | 2022-02-07 | ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング | Microscopy system and method for inspecting samples |
US12105272B2 (en) | 2018-11-12 | 2024-10-01 | Leica Microsystems Cms Gmbh | Microscope system and method for examining a sample |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09281405A (en) * | 1996-04-17 | 1997-10-31 | Olympus Optical Co Ltd | Microscopic system |
JP2007065669A (en) * | 2005-08-31 | 2007-03-15 | Trestle Acquisition Corp | System and method for combining image block to create seamless magnified image of microscope slide |
JP2009175661A (en) * | 2007-12-26 | 2009-08-06 | Olympus Corp | Biological-specimen observation apparatus |
-
2010
- 2010-01-06 JP JP2010001423A patent/JP5562653B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09281405A (en) * | 1996-04-17 | 1997-10-31 | Olympus Optical Co Ltd | Microscopic system |
JP2007065669A (en) * | 2005-08-31 | 2007-03-15 | Trestle Acquisition Corp | System and method for combining image block to create seamless magnified image of microscope slide |
JP2009175661A (en) * | 2007-12-26 | 2009-08-06 | Olympus Corp | Biological-specimen observation apparatus |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013050594A (en) * | 2011-08-31 | 2013-03-14 | Keyence Corp | Magnified observation device, magnified observation method and magnified observation program |
WO2013094273A1 (en) | 2011-12-22 | 2013-06-27 | オリンパス株式会社 | Image processing device, imaging device, microscope system, image processing method, and image processing program |
JP2014178781A (en) * | 2013-03-13 | 2014-09-25 | Olympus Corp | Image processor, microscope system and image processing method |
JP2017517766A (en) * | 2014-05-23 | 2017-06-29 | エフエフイーアイ リミティド | Improved imaging of microscope samples |
JP2017102405A (en) * | 2015-12-04 | 2017-06-08 | オリンパス株式会社 | Microscope, image pasting method, and program |
WO2019065050A1 (en) * | 2017-09-27 | 2019-04-04 | 富士フイルム株式会社 | Observation device, observation method, and observation program |
JPWO2019065050A1 (en) * | 2017-09-27 | 2020-02-27 | 富士フイルム株式会社 | Observation device, observation method and observation program |
JP2022513007A (en) * | 2018-11-12 | 2022-02-07 | ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング | Microscopy system and method for inspecting samples |
JP7305764B2 (en) | 2018-11-12 | 2023-07-10 | ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング | Microscope system and method for inspecting a specimen |
US12105272B2 (en) | 2018-11-12 | 2024-10-01 | Leica Microsystems Cms Gmbh | Microscope system and method for examining a sample |
Also Published As
Publication number | Publication date |
---|---|
JP5562653B2 (en) | 2014-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5562653B2 (en) | Virtual slide creation apparatus and virtual slide creation method | |
JP5555014B2 (en) | Virtual slide creation device | |
US8830313B2 (en) | Information processing apparatus, stage-undulation correcting method, program therefor | |
US7630628B2 (en) | Microscope system and microscope observation method | |
JP4917329B2 (en) | Image acquisition apparatus, image acquisition method, and image acquisition program | |
JP4970869B2 (en) | Observation apparatus and observation method | |
JP5153599B2 (en) | Microscope system and operation method thereof | |
US9046677B2 (en) | Microscope system and autofocus method | |
JP2012003214A (en) | Information processor, information processing method, program, imaging device and imaging device having light microscope | |
JP5047764B2 (en) | Microscope imaging device | |
JP2010141697A (en) | Imaging apparatus | |
JP2007114742A (en) | Observation apparatus | |
CN102023167A (en) | Method and appratus for image generation | |
JP5718012B2 (en) | Scanning laser microscope | |
WO2013179723A1 (en) | Information processing device, information processing method, program and microscope system | |
JP2017021275A (en) | Image acquisition device | |
JP5730696B2 (en) | Image processing apparatus and image display system | |
JP2011259504A (en) | Imaging apparatus | |
JP2012045053A (en) | Image capturing apparatus and endoscope system | |
JP2006243608A (en) | Microscope system | |
JP6196684B2 (en) | Inspection device | |
JP2009110788A (en) | Transmission electron microscope and method of operating the same | |
JP2011221280A (en) | Virtual slide creating device and virtual slide creating method | |
JP5209139B2 (en) | Imaging device | |
JP2018116197A (en) | Microscope system, lamination image generation program, and lamination image generation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131009 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140527 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140611 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5562653 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |