Nothing Special   »   [go: up one dir, main page]

JP6389721B2 - Imaging apparatus and imaging method - Google Patents

Imaging apparatus and imaging method Download PDF

Info

Publication number
JP6389721B2
JP6389721B2 JP2014199858A JP2014199858A JP6389721B2 JP 6389721 B2 JP6389721 B2 JP 6389721B2 JP 2014199858 A JP2014199858 A JP 2014199858A JP 2014199858 A JP2014199858 A JP 2014199858A JP 6389721 B2 JP6389721 B2 JP 6389721B2
Authority
JP
Japan
Prior art keywords
imaging
unit
sample
recess
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014199858A
Other languages
Japanese (ja)
Other versions
JP2016071117A (en
Inventor
博 末木
博 末木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2014199858A priority Critical patent/JP6389721B2/en
Publication of JP2016071117A publication Critical patent/JP2016071117A/en
Application granted granted Critical
Publication of JP6389721B2 publication Critical patent/JP6389721B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)
  • Diaphragms For Cameras (AREA)
  • Studio Devices (AREA)

Description

この発明は、試料容器に液体が注入されてなる試料を撮像する撮像装置および撮像方法に関するものである。   The present invention relates to an imaging device and an imaging method for imaging a sample in which a liquid is injected into a sample container.

医療や生物科学の実験においては、例えば、ウェルと称される窪部を多数配列して設けたプレート状の試料容器(例えばマイクロプレート、マイクロタイタープレート等と呼ばれる)の各ウェルや、シャーレ、ディッシュ等と称される浅皿型の容器に液体やゲル状の流動体(例えば培養液、培地等)を注入し、ここで細胞等を培養したものを試料として観察、計測することが行われる。近年では、CCDカメラ等で撮像してデータ化し、該画像データに種々の画像処理技術を適用して観察や分析に供することが行われるようになってきている。   In medical and biological science experiments, for example, each well of a plate-shaped sample container (for example, called a microplate or a microtiter plate) provided with a large number of depressions called wells, a petri dish, a dish A liquid or gel-like fluid (for example, a culture solution, a medium, etc.) is injected into a shallow dish-type container referred to as “etc.”, and the cells cultured here are observed and measured as a sample. In recent years, it has been increasingly performed that images are captured by a CCD camera or the like and converted into data, and various image processing techniques are applied to the image data for observation and analysis.

このような撮像装置において、例えば試料の上方から照明光を入射させ、容器底面から透過してくる光を受光して撮像を行う場合、注入された液体表面のメニスカス作用により照明光が屈折することで、画像の明るさが位置により異なるという問題が知られている。より具体的には、容器壁面に近い試料の周縁部において画像が暗くなる。この問題に対応する技術として、例えば特許文献1には、照明光学系に設けた絞りによって、試料に対し照明光が斜め方向から入射するようにした構成が開示されている。   In such an imaging device, for example, when illumination light is incident from above the sample and light is transmitted through the bottom of the container to capture an image, the illumination light is refracted by the meniscus action of the injected liquid surface. There is a known problem that the brightness of an image varies depending on the position. More specifically, the image becomes dark at the periphery of the sample near the container wall surface. As a technique for dealing with this problem, for example, Patent Document 1 discloses a configuration in which illumination light is incident on a sample from an oblique direction by a diaphragm provided in an illumination optical system.

特開2012−147739号公報(例えば、図2)JP 2012-147739 A (for example, FIG. 2)

試料容器の大きさは様々であり、撮像装置の撮像視野内に試料が収まりきらない場合もある。このような場合、撮像位置を変えて複数回撮像を行うことで試料全体の撮像を行うことが可能である。しかしながら、メニスカスの影響の現れ方は試料の位置によって異なっており、しかも、特に試料の周縁部においては1つの撮像視野内においてメニスカスの影響が非対称である。上記従来技術では、光学系の光軸が容器の中心と一致していることが前提となっており、このような場合には対応することができなかった。   The size of the sample container varies, and the sample may not fit within the imaging field of view of the imaging device. In such a case, the entire sample can be imaged by changing the imaging position and performing imaging a plurality of times. However, how the influence of the meniscus appears depends on the position of the sample, and the influence of the meniscus is asymmetric in one imaging field of view, particularly in the peripheral portion of the sample. The above prior art is based on the premise that the optical axis of the optical system is coincident with the center of the container, and cannot cope with such a case.

この発明は上記課題に鑑みなされたものであり、撮像視野よりも大きな試料を撮像する場合でも、メニスカスの影響による明るさのムラを抑えた画像を得ることのできる技術を提供することを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of obtaining an image in which unevenness in brightness due to the influence of a meniscus is suppressed even when a sample larger than an imaging field of view is imaged. To do.

この発明にかかる撮像装置は、試料容器に設けられた底面が平坦な窪部に液体が注入されてなる試料を撮像する撮像装置であって、上記目的を達成するため、前記窪部の前記底面が水平となるように前記試料容器を保持する保持手段と、前記試料容器の上方から前記窪部に照明光を入射させる照明手段と、前記窪部の前記底面から透過する光を受光して前記試料を撮像する撮像手段と、前記保持手段に保持される前記試料容器と前記撮像手段との間に設けられ、前記窪部の前記底面から出射される光を前記撮像手段に入射させる観察光学系と、前記撮像手段および前記観察光学系を一体的に、前記試料容器に対し前記窪部の前記底面と平行な方向に相対移動させて、前記窪部に対する前記撮像手段の位置決めを行う位置決め手段とを備え、前記観察光学系は、前記保持手段と前記撮像手段との間の光路上に設けられた対物レンズと、前記対物レンズと前記撮像手段との間の光路上に設けられた開口絞りと、前記開口絞りを前記対物レンズの光軸方向に移動させる絞り位置変更部とを有し、前記撮像手段および前記観察光学系と前記試料容器との相対位置に応じて、前記絞り位置変更部が前記開口絞りの位置を変化させる。   An imaging apparatus according to the present invention is an imaging apparatus for imaging a sample in which a liquid is injected into a recess having a flat bottom surface provided in a sample container, and in order to achieve the above object, the bottom surface of the recess Holding means for holding the sample container so as to be horizontal, illumination means for making illumination light enter the recess from above the sample container, and receiving light transmitted from the bottom surface of the recess An observation optical system that is provided between an imaging unit that images a sample, the sample container held by the holding unit, and the imaging unit, and that makes light emitted from the bottom surface of the recess enter the imaging unit Positioning means for positioning the imaging means with respect to the depression by integrally moving the imaging means and the observation optical system relative to the sample container in a direction parallel to the bottom surface of the depression. With the front An observation optical system includes an objective lens provided on an optical path between the holding unit and the imaging unit, an aperture stop provided on an optical path between the objective lens and the imaging unit, and the aperture stop A diaphragm position changing unit that moves the lens in the direction of the optical axis of the objective lens, and depending on the relative positions of the imaging means, the observation optical system, and the sample container, the diaphragm position changing unit Change position.

また、この発明にかかる撮像方法は、上記目的を達成するため、底面が平坦な窪部に液体が注入されてなる試料を担持する試料容器を、前記窪部の前記底面が水平となるように保持する工程と、前記試料を撮像する撮像手段と、前記窪部の前記底面から透過する光を前記撮像手段に入射させる観察光学系とを一体的に、前記試料容器に対し前記窪部の前記底面と平行な方向に相対移動させて、前記窪部に対する前記撮像手段の位置決めを行う工程と、前記試料容器の上方から前記窪部に照明光を入射させる工程と、前記窪部の前記底面から透過する光を前記観察光学系により前記撮像手段に入射させて前記試料を撮像する工程とを備え、前記観察光学系は、前記試料容器と前記撮像手段との間の光路上に設けられた対物レンズと、前記対物レンズと前記撮像手段との間の光路上に設けられた開口絞りと、前記開口絞りを前記対物レンズの光軸方向に移動させる絞り位置変更部とを有し、前記撮像手段および前記観察光学系と前記試料容器との相対位置に応じて、前記絞り位置変更部により前記開口絞りの位置を変化させる。 Further, in order to achieve the above object, the imaging method according to the present invention is configured so that a sample container carrying a sample in which a liquid is injected into a recess having a flat bottom surface is placed so that the bottom surface of the recess is horizontal The holding step, the imaging means for imaging the sample, and the observation optical system for allowing the light transmitted from the bottom surface of the recess to enter the imaging means, are integrated with the sample container. A step of positioning the imaging means with respect to the recess by moving it relative to a direction parallel to the bottom; a step of causing illumination light to enter the recess from above the sample container; and from the bottom of the recess And imaging the sample by causing the transmitted light to enter the imaging means using the observation optical system, and the observation optical system is an objective provided on the optical path between the sample container and the imaging means. A lens and the objective lens And an aperture stop provided on an optical path between the imaging means and the aperture position changing unit for moving the aperture stop in the optical axis direction of the objective lens, the imaging means and the observation optical system The position of the aperture stop is changed by the stop position changing unit according to the relative position between the aperture stop and the sample container.

詳しくは後述するが、観察光学系の開口絞りを対物レンズの焦点位置よりも撮像手段側に配置することで、液面のメニスカス効果により進路が曲げられた光を集光して撮像手段に入射させることが可能である。というのは、開口絞りを対物レンズから遠ざけることで、特に光軸に対する傾きが大きい方向からの光を取り込んで撮像手段での受光量を増加させることができるからである。このことを利用して、試料周縁部でのメニスカスの影響による光量の低下を補うことができる。   As will be described in detail later, by arranging the aperture stop of the observation optical system closer to the imaging means than the focal position of the objective lens, the light whose path is bent by the meniscus effect of the liquid surface is condensed and incident on the imaging means. It is possible to make it. This is because, by moving the aperture stop away from the objective lens, it is possible to increase the amount of light received by the imaging means by taking in light from a direction having a particularly large inclination with respect to the optical axis. By utilizing this fact, it is possible to compensate for a decrease in the amount of light due to the influence of the meniscus at the periphery of the sample.

上記のように構成された発明では、撮像手段および観察光学系を一体的に、試料容器に対し移動位置決めすることにより、試料の異なる位置を撮像することが可能である。この場合、撮像位置によりメニスカスの影響の現れ方は異なるが、開口絞りの位置を調整することで影響を低減させることができる。すなわち、メニスカスの影響で暗くなる試料の周縁部については、開口絞りの位置調整により入射光量を増加させることで、より明るい画像とすることが可能である。   In the invention configured as described above, it is possible to image different positions of the sample by integrally moving the imaging means and the observation optical system with respect to the sample container. In this case, the appearance of the influence of the meniscus differs depending on the imaging position, but the influence can be reduced by adjusting the position of the aperture stop. That is, a brighter image can be obtained for the peripheral portion of the sample that becomes dark due to the influence of the meniscus by increasing the amount of incident light by adjusting the position of the aperture stop.

このように、撮像位置を変更するための構成と、観察光学系において開口絞りの位置を変更するための構成とを組み合わせて、試料の各位置においてメニスカスの影響による光量低下を抑えることができ、そのため、本発明によれば、明るさのムラの少ない画像を撮像することができる。   In this way, by combining the configuration for changing the imaging position and the configuration for changing the position of the aperture stop in the observation optical system, it is possible to suppress a light amount decrease due to the influence of the meniscus at each position of the sample, Therefore, according to the present invention, an image with little brightness unevenness can be taken.

本発明においては、例えば、前記開口絞りの可動範囲が、前記対物レンズの焦点位置と、前記焦点位置よりも前記撮像手段側の位置とを含むように構成されてもよい。撮像視野内でメニスカスの影響が現れていなければ、開口絞りを対物レンズの焦点位置に配置するのが好ましい。メニスカスの影響がある場合には、焦点位置よりも撮像手段側に開口絞りを配置することが好ましい。対物レンズの焦点位置およびこれよりも撮像手段側の位置が開口絞りの可動範囲にあれば、いずれの状況にも対応することが可能である。   In the present invention, for example, the movable range of the aperture stop may be configured to include a focal position of the objective lens and a position closer to the imaging means than the focal position. If the influence of the meniscus does not appear in the imaging field, it is preferable to arrange the aperture stop at the focal position of the objective lens. When there is an influence of meniscus, it is preferable to arrange an aperture stop closer to the imaging means than the focal position. If the focal position of the objective lens and the position closer to the image pickup means are within the movable range of the aperture stop, it is possible to deal with any situation.

また例えば、試料容器に対し撮像手段を互いに異なる位置に位置決めすることで撮像位置を変化させて、複数回撮像を行うようにしてもよい。こうすることで、撮像視野よりも広い試料であってもその各部を画像に含ませることができる。例えば1回の撮像で、試料のうち一部領域を撮像手段の撮像視野に収めて撮像を行い、これを位置を変えて複数回行うことで、試料の各部を遺漏なく撮像することができる。   Further, for example, the imaging unit may be positioned at different positions with respect to the sample container to change the imaging position, and the imaging may be performed a plurality of times. In this way, even if the sample is wider than the imaging field, each part can be included in the image. For example, in one imaging, a part of the sample is captured in the imaging visual field of the imaging means, and the imaging is performed a plurality of times by changing the position, so that each part of the sample can be imaged without omission.

この場合、例えば、互いに異なる2回の撮像において、撮像手段の撮像視野を試料上で部分的に重複させることがより好ましい。この発明の原理はメニスカス効果による光量低下を絞り位置調整による光量増加で補うというものであるが、このような光量変動を補償する作用は常に撮像視野の全体において同様に得られるというわけではない。すなわち、絞り位置調整による光量増加の現れ方は観察光学系のサイズに依存する。そのため、試料のサイズとの兼ね合いで、1枚の画像のうちのある領域では光量変動が相殺されていても、別の領域では効果が現れなかったり、過補償となっていたりすることがあり得る。試料の同一領域を複数の画像に含ませて撮像を行えば、当該領域に対する絞り位置調整の効果が画像ごとに異なるため、例えば当該領域について最も好ましい効果の現れた画像を採用するといった対応が可能となる。   In this case, for example, in two different imaging operations, it is more preferable to partially overlap the imaging field of the imaging means on the sample. The principle of the present invention is to compensate for the decrease in the amount of light due to the meniscus effect by the increase in the amount of light by adjusting the aperture position. However, the effect of compensating for such variation in the amount of light is not always obtained in the same manner in the entire imaging field of view. That is, how the amount of light increases due to aperture position adjustment depends on the size of the observation optical system. Therefore, in consideration of the size of the sample, even if the light amount fluctuation is offset in one area of one image, the effect may not appear in another area or it may be overcompensated. . If the same region of the sample is included in multiple images and taken, the effect of adjusting the aperture position for that region varies from image to image, so it is possible to take measures such as adopting an image that exhibits the most favorable effect for that region. It becomes.

また例えば、各撮像位置で撮像された複数の画像を合成するための構成を備えてもよい。こうすることで、各部を個別に撮像した複数の画像から試料全体に対応する画像を作成することができる。   For example, you may provide the structure for synthesize | combining the several image imaged in each imaging position. By doing so, an image corresponding to the entire sample can be created from a plurality of images obtained by individually capturing each part.

また例えば、撮像手段および観察光学系と試料容器との相対位置と、開口絞りの位置とを予め関連付けた情報に基づき、開口絞りの位置を変化させる構成であってもよい。容器の形状からメニスカスの現れ方はある程度予測可能である。その予測に基づいて撮像位置と開口絞りの位置とを予め関連付けておけば、撮像手段および観察光学系を位置決めする際に、これに応じて直ちに開口絞りを適切な位置に配置することができる。   Further, for example, a configuration in which the position of the aperture stop is changed based on information in which the relative positions of the imaging unit, the observation optical system, and the sample container are associated in advance with the position of the aperture stop. The appearance of the meniscus can be predicted to some extent from the shape of the container. If the imaging position and the aperture stop position are associated in advance based on the prediction, when positioning the imaging means and the observation optical system, the aperture stop can be immediately placed at an appropriate position.

また例えば、観察光学系は、開口絞りと撮像手段との間の光路上に、開口絞りを通過した光を撮像手段に収束させる結像レンズを備える構成であってもよい。このような構成によれば、撮像手段に結像する光の入射方向を調整することで画像品質を向上させることができる。   Further, for example, the observation optical system may be configured to include an imaging lens that converges the light that has passed through the aperture stop on the optical path between the aperture stop and the imaging unit. According to such a configuration, the image quality can be improved by adjusting the incident direction of the light focused on the imaging means.

また例えば、照明手段は、窪部面に拡散光を入射させる構成であってもよい。本願発明者らの知見では、特に撮像される試料が立体的な構造の細胞を含む場合、このように照明光として拡散光を用いた場合に良好な撮像結果が得られる。   For example, the illumination means may be configured to allow diffused light to enter the concave surface. According to the knowledge of the inventors of the present application, particularly when a sample to be imaged includes cells having a three-dimensional structure, a favorable imaging result is obtained when diffused light is used as illumination light in this way.

あるいは例えば、照明手段は、光源と、該光源から窪部に入射する光の拡散度を低減させる低減部とを備える構成であってもよい。特に、撮像される試料が例えば細胞が窪部の底面に沿って平面的に分布している場合には、拡散度の抑制された照明光を用いることで良好な撮像結果が得られる。   Alternatively, for example, the illumination unit may include a light source and a reduction unit that reduces the degree of diffusion of light incident on the recess from the light source. In particular, when the sample to be imaged has, for example, cells distributed in a plane along the bottom surface of the depression, a good imaging result can be obtained by using illumination light with a suppressed degree of diffusion.

この発明によれば、撮像手段と試料容器との相対位置を変更するための構成と、観察光学系において開口絞りの位置を変更するための構成とを組み合わせることで、試料の各位置においてメニスカスの影響による光量低下を抑え、明るさのムラの少ない画像を撮像することができる。   According to the present invention, by combining the configuration for changing the relative position between the imaging means and the sample container and the configuration for changing the position of the aperture stop in the observation optical system, the meniscus is changed at each position of the sample. It is possible to suppress a decrease in the amount of light due to the influence and to capture an image with little unevenness in brightness.

本発明にかかる撮像装置の一実施形態の概略構成を示す図である。It is a figure which shows schematic structure of one Embodiment of the imaging device concerning this invention. ディッシュを透過する光を模式的に示す図である。It is a figure which shows typically the light which permeate | transmits a dish. 開口絞りの位置を可変とした場合の効果を示す図である。It is a figure which shows the effect at the time of making the position of an aperture stop variable. 撮像位置と有効領域との関係を示す図である。It is a figure which shows the relationship between an imaging position and an effective area | region. 原画像の撮像原理を説明する図である。It is a figure explaining the imaging principle of an original image. この実施形態における画像作成処理を示すフローチャートである。It is a flowchart which shows the image creation process in this embodiment. 照明部の他の構成例を示す図である。It is a figure which shows the other structural example of an illumination part.

図1は本発明にかかる撮像装置の一実施形態の概略構成を示す図である。この撮像装置1は、試料容器であるディッシュDの上面に形成された窪部に液体が注入されてなる試料を撮像する装置である。以下、各図における方向を統一的に示すために、図1に示すようにXYZ直交座標軸を設定する。ここでXY平面が水平面、Z軸が鉛直軸を表す。より詳しくは、(+Z)方向が鉛直上向き方向を表している。   FIG. 1 is a diagram showing a schematic configuration of an embodiment of an imaging apparatus according to the present invention. The imaging apparatus 1 is an apparatus that images a sample in which a liquid is injected into a recess formed on the upper surface of a dish D that is a sample container. Hereinafter, in order to uniformly indicate the directions in the drawings, XYZ orthogonal coordinate axes are set as shown in FIG. Here, the XY plane represents a horizontal plane and the Z axis represents a vertical axis. More specifically, the (+ Z) direction represents a vertically upward direction.

ディッシュDは、底面が平坦かつ透明で上向きに開口する、平面視が略円形で浅皿型の容器であり、その直径は例えば数十ミリメートル程度である。ディッシュD内には培地Mとしての液体が所定量注入され、この液体中において所定の培養条件で培養された細胞Cあるいは細菌等が培養されて、この撮像装置1の撮像対象となる試料が予め作製されている。培地Mは適宜の試薬が添加されたものでもよく、また液状でディッシュDに注入された後ゲル化するものであってもよい。   The dish D is a shallow dish-shaped container having a flat bottom and a transparent bottom and opening upward, and having a substantially circular shape in plan view, and has a diameter of, for example, about several tens of millimeters. A predetermined amount of a liquid as a medium M is injected into the dish D, and cells C, bacteria, or the like cultured under predetermined culture conditions are cultured in the liquid, and a sample to be imaged by the imaging apparatus 1 is previously stored. Have been made. The medium M may be added with an appropriate reagent, or may be gelled after being injected into the dish D in a liquid state.

撮像装置1は、試料を担持するディッシュDの下面周縁部に当接してディッシュDを略水平姿勢に保持するホルダ11と、ホルダ11の上方に配置される照明部12と、ホルダ11の下方に配置される撮像部13と、これら各部の動作を制御するCPU141を有する制御部14とを備えている。   The imaging apparatus 1 includes a holder 11 that holds the dish D in a substantially horizontal posture by contacting the peripheral edge of the lower surface of the dish D that holds the sample, an illumination unit 12 that is disposed above the holder 11, and a lower part of the holder 11. The imaging unit 13 is provided, and a control unit 14 having a CPU 141 that controls the operation of each unit.

照明部12は、ホルダ11により保持されたディッシュDに向けて適宜の拡散光(例えば白色光)を出射する。より具体的には、例えば光源としての白色LED(Light Emitting Diode)光源121と拡散板122とを組み合わせたものを、照明部12として用いることができる。照明部12により、ディッシュDに担持された試料が上方から照明される。   The illumination unit 12 emits appropriate diffused light (for example, white light) toward the dish D held by the holder 11. More specifically, for example, a combination of a white LED (Light Emitting Diode) light source 121 as a light source and a diffusion plate 122 can be used as the illumination unit 12. The sample carried on the dish D is illuminated from above by the illumination unit 12.

ホルダ11により保持されたディッシュDの下方に、撮像部13が設けられる。撮像部13では、ディッシュDの直下位置に対物レンズ131が配置されている。対物レンズ131の光軸は鉛直方向(Z方向)に向けられており、対物レンズ131の光軸OAに沿って上から下に向かって順に、開口絞り132、結像レンズ133および撮像デバイス134がさらに設けられている。対物レンズ131、開口絞り132および結像レンズ133は、それぞれの中心が鉛直方向(Z方向)に沿って一列に並ぶように配置されて、これらが一体として観察光学系130を構成している。なお、この例では撮像部13を構成する各部が鉛直方向に一列に配列されているが、各部間の距離(光路長)が所定の関係を満たす限りにおいて、反射鏡等により光路が折り返されていてもよい。   An imaging unit 13 is provided below the dish D held by the holder 11. In the imaging unit 13, an objective lens 131 is disposed immediately below the dish D. The optical axis of the objective lens 131 is directed in the vertical direction (Z direction), and the aperture stop 132, the imaging lens 133, and the imaging device 134 are arranged in order from top to bottom along the optical axis OA of the objective lens 131. Furthermore, it is provided. The objective lens 131, the aperture stop 132, and the imaging lens 133 are arranged so that their centers are aligned in a line along the vertical direction (Z direction), and these constitute an observation optical system 130 as a unit. In this example, the respective parts constituting the imaging unit 13 are arranged in a line in the vertical direction. However, as long as the distance (optical path length) between the parts satisfies a predetermined relationship, the optical path is folded by a reflecting mirror or the like. May be.

撮像部13は、制御部14に設けられたメカ駆動部146によりXYZ方向に移動可能となっている。具体的には、メカ駆動部146が、CPU141からの制御指令に基づき、撮像部13を構成する対物レンズ131、開口絞り132、結像レンズ133および撮像デバイス134を一体的にX方向およびY方向に移動させることにより、撮像部13がディッシュDに対し水平方向に移動する。ディッシュDに対し撮像部13が水平方向における所定位置に位置決めされた状態で、撮像部13によるディッシュD内の試料の撮像が行われる。   The imaging unit 13 can be moved in the XYZ directions by a mechanical drive unit 146 provided in the control unit 14. Specifically, based on a control command from the CPU 141, the mechanical drive unit 146 integrally connects the objective lens 131, the aperture stop 132, the imaging lens 133, and the imaging device 134 that constitute the imaging unit 13 in the X direction and the Y direction. The image pickup unit 13 moves in the horizontal direction with respect to the dish D. With the imaging unit 13 positioned at a predetermined position in the horizontal direction with respect to the dish D, the sample in the dish D is imaged by the imaging unit 13.

また、メカ駆動部146は、撮像部13をZ方向に移動させることにより、撮像対象物に対する撮像部のフォーカス合わせを行う。具体的には、撮像対象物たる試料が存在するディッシュDの内底面に対物レンズ131の焦点が合うように、メカ駆動部146が、対物レンズ131、開口絞り132、結像レンズ133および撮像デバイス134を一体的に上下動(Z方向移動)させる。   Further, the mechanical drive unit 146 moves the imaging unit 13 in the Z direction, thereby focusing the imaging unit with respect to the imaging target. Specifically, the mechanical drive unit 146 includes the objective lens 131, the aperture stop 132, the imaging lens 133, and the imaging device so that the objective lens 131 is focused on the inner bottom surface of the dish D where the sample that is the imaging target exists. 134 is integrally moved up and down (moved in the Z direction).

さらに、メカ制御部146は、対物レンズ131とは独立して、開口絞り132を上下動可能となっている。すなわち、この実施形態では対物レンズ131と開口絞り132とのZ方向距離が可変となっている。その可変範囲Rzは、対物レンズ131の焦点FPのZ方向位置Zfを含み、かつ、それより(−Z)方向、つまり撮像デバイス134に近い側へ広がっている。可変範囲Rzが焦点FPよりも(+Z)方向、つまり対物レンズ131に近い側を含むか否かは任意である。以下では開口絞り131のZ方向位置(絞り位置)を符号Zsにより表す。   Furthermore, the mechanical control unit 146 can move the aperture stop 132 up and down independently of the objective lens 131. That is, in this embodiment, the Z-direction distance between the objective lens 131 and the aperture stop 132 is variable. The variable range Rz includes the Z-direction position Zf of the focal point FP of the objective lens 131 and extends in the (−Z) direction, that is, closer to the imaging device 134. Whether or not the variable range Rz includes the (+ Z) direction from the focal point FP, that is, the side closer to the objective lens 131 is arbitrary. In the following, the Z-direction position (aperture position) of the aperture stop 131 is represented by the symbol Zs.

対物レンズ131に対し開口絞り132が上下動するとき、結像レンズ133および撮像デバイス134も開口絞り131と一体的に上下動する。すなわち、開口絞り132と結像レンズ133との距離、および結像レンズ133と撮像デバイス134との距離はいずれも結像レンズ133の焦点距離f2に固定されている。したがって、開口絞り132、結像レンズ133および撮像デバイス134によるテレセントリック光学系が、対物レンズ131に対し上下動する。このように開口絞り132を対物レンズ131に対し移動させる理由については後述する。   When the aperture stop 132 moves up and down with respect to the objective lens 131, the imaging lens 133 and the imaging device 134 also move up and down integrally with the aperture stop 131. That is, the distance between the aperture stop 132 and the imaging lens 133 and the distance between the imaging lens 133 and the imaging device 134 are both fixed to the focal length f2 of the imaging lens 133. Accordingly, the telecentric optical system including the aperture stop 132, the imaging lens 133, and the imaging device 134 moves up and down with respect to the objective lens 131. The reason why the aperture stop 132 is moved with respect to the objective lens 131 will be described later.

撮像部13により、ディッシュD内の生物試料が撮像される。具体的には、照明部12から出射されディッシュDの上方から培地Mに入射した光が撮像対象物を照明し、ディッシュD底面から下方へ透過した光が対物レンズ131により集光され、開口絞り132、結像レンズ133を介して最終的に撮像デバイス134の受光面に撮像対象物の像が結像し、これが撮像デバイス134の受光素子1341により受光される。受光素子1341は二次元イメージセンサであり、その表面に結像した撮像対象物の二次元画像を電気信号に変換する。受光素子1341としては、例えばCCDセンサまたはCMOSセンサを用いることができる。   The biological sample in the dish D is imaged by the imaging unit 13. Specifically, light emitted from the illumination unit 12 and incident on the medium M from above the dish D illuminates the object to be imaged, and light transmitted downward from the bottom surface of the dish D is condensed by the objective lens 131, and the aperture stop. 132, the image of the imaging object is finally formed on the light receiving surface of the imaging device 134 via the imaging lens 133, and this is received by the light receiving element 1341 of the imaging device 134. The light receiving element 1341 is a two-dimensional image sensor, and converts a two-dimensional image of the imaging object formed on the surface thereof into an electrical signal. As the light receiving element 1341, for example, a CCD sensor or a CMOS sensor can be used.

ディッシュD内の試料の水平方向(XY方向)の広がり範囲が撮像部13の撮像視野よりも小さい場合には、観察光学系130の光軸OAをディッシュDの中心軸と一致させて撮像を行うことで、試料全体を撮像することができる。一方、試料が撮像部13の撮像視野よりも大きい場合には、メカ駆動部146によりディッシュDに対する観察光学系130の水平方向位置(撮像位置)を多段階に変更しながら、その都度撮像部13が撮像を行うことにより、試料の全体を複数の画像に分割して記録することができる。   When the horizontal extent (XY direction) of the sample in the dish D is smaller than the imaging field of view of the imaging unit 13, the imaging is performed with the optical axis OA of the observation optical system 130 aligned with the central axis of the dish D. Thus, the entire sample can be imaged. On the other hand, when the sample is larger than the imaging field of the imaging unit 13, the mechanical driving unit 146 changes the horizontal position (imaging position) of the observation optical system 130 with respect to the dish D in multiple stages, and the imaging unit 13 each time. By taking an image, the entire sample can be divided and recorded in a plurality of images.

受光素子1341から出力される画像信号は、制御部14に送られる。すなわち、画像信号は制御部14に設けられたADコンバータ(A/D)143に入力されてデジタル画像データに変換される。CPU141は、受信した画像データに基づき適宜画像処理を実行する。例えば、上記したように複数に分割して撮像された原画像を合成して、試料全体に対応する合成画像を作成する処理を実行する。   The image signal output from the light receiving element 1341 is sent to the control unit 14. That is, the image signal is input to an AD converter (A / D) 143 provided in the control unit 14 and converted into digital image data. The CPU 141 executes image processing as appropriate based on the received image data. For example, as described above, the original image captured by dividing into a plurality of images is synthesized to execute a process of creating a synthesized image corresponding to the entire sample.

制御部14はさらに、画像データを記憶保存するための画像メモリ144と、CPU141が実行すべきプログラムやCPU141により生成されるデータを記憶保存するためのメモリ145とを有しているが、これらは一体のものであってもよい。その他に、制御部14には、インターフェース(I/F)142が設けられている。インターフェース142は、ユーザーからの操作入力を受け付けたり、ユーザーへの処理結果等の情報提示を行うほか、通信回線を介して接続された外部装置との間でのデータ交換を行う。   The control unit 14 further includes an image memory 144 for storing and storing image data, and a memory 145 for storing and storing programs to be executed by the CPU 141 and data generated by the CPU 141. It may be integral. In addition, the control unit 14 is provided with an interface (I / F) 142. The interface 142 receives an operation input from the user, presents information such as a processing result to the user, and exchanges data with an external apparatus connected via a communication line.

図2はディッシュを透過する光を模式的に示す図である。ディッシュDには培地Mが注入されており、その液面には一般的に下に凸のメニスカスが形成される。培地Mの表面Sがほぼ平坦と見なせるディッシュDの中央部では、入射光Lが培地M内に直進するため、メニスカスの影響を考慮する必要がない。この場合、図2(a)に示すように、対物レンズ131と開口絞り132との距離を対物レンズ131の焦点距離f1とし、開口絞り132を対物レンズ131の焦点FPに対応する位置(すなわち、Zs=Zf)に配置した一般的な観察光学系により、試料を良好に撮像することが可能である。   FIG. 2 is a diagram schematically showing light transmitted through the dish. A medium M is injected into the dish D, and a generally downward meniscus is formed on the liquid surface. In the central part of the dish D where the surface S of the medium M can be regarded as almost flat, the incident light L travels straight into the medium M, so there is no need to consider the influence of the meniscus. In this case, as shown in FIG. 2A, the distance between the objective lens 131 and the aperture stop 132 is the focal length f1 of the objective lens 131, and the aperture stop 132 is at a position corresponding to the focal point FP of the objective lens 131 (that is, The sample can be imaged satisfactorily by a general observation optical system arranged at Zs = Zf).

一方、図2(b)に示すように、撮像視野にメニスカスによる液面の変動を有する周縁部に近い領域が含まれる場合、入射光Lが培地表面Sにおいて屈折し、試料内での光路が変わる。一般的な下に凸のメニスカスでは、光路がディッシュDの中心から周縁部へ向かう方向に曲げられる。そのため、このように曲げられた光が下方に配置された開口絞り132に入射する際の主光線の傾きがより大きくなり、結果として開口絞り132を通過できる光の量が低下する。つまり、ディッシュDの周縁部では、中央部に比べて画像が暗くなってしまう。   On the other hand, as shown in FIG. 2B, when the imaging field includes a region close to the peripheral portion having the liquid level variation due to the meniscus, the incident light L is refracted on the medium surface S, and the optical path in the sample is change. In a general downward meniscus, the optical path is bent in the direction from the center of the dish D toward the peripheral edge. For this reason, the inclination of the principal ray when the light bent in this way enters the aperture stop 132 disposed below increases, and as a result, the amount of light that can pass through the aperture stop 132 decreases. That is, the image is darker at the peripheral edge of the dish D than at the center.

この実施形態では、開口絞り132の位置をZ方向に変化させることで、このような光量の低下を抑制してディッシュDの周縁部でも明るい画像が得られるようにしている。以下、その考え方を説明する。   In this embodiment, by changing the position of the aperture stop 132 in the Z direction, such a decrease in the amount of light is suppressed, and a bright image can be obtained even at the peripheral portion of the dish D. The concept will be described below.

図3は開口絞りの位置を可変とした場合の効果を示す図である。上記のようにメニスカスの影響が表れている試料の領域を撮像する際に、図3(a)に示すように、開口絞り132を対物レンズ131の焦点FPよりも撮像デバイス134に近い側、つまり(−Z)側に配置した場合を考える。この場合、対物レンズ131の中央部に入射する光には大きな影響はないが、対物レンズ131の周縁部においては、対物レンズ131から開口絞り132に入射する主光線の傾きが小さくなるため、開口絞り132がより多くの光を通過させることができる。すなわち、メニスカスにより屈折した光も集光して撮像デバイス134に入射させることが可能となり、より明るい画像を得ることができる。   FIG. 3 is a diagram showing the effect when the position of the aperture stop is variable. When imaging the sample region where the influence of the meniscus appears as described above, the aperture stop 132 is closer to the imaging device 134 than the focal point FP of the objective lens 131, as shown in FIG. Consider the case where it is arranged on the (−Z) side. In this case, the light incident on the central portion of the objective lens 131 is not greatly affected. However, in the peripheral portion of the objective lens 131, the inclination of the principal ray incident on the aperture stop 132 from the objective lens 131 is small, so that the aperture is reduced. The diaphragm 132 can pass more light. That is, light refracted by the meniscus can be collected and incident on the imaging device 134, and a brighter image can be obtained.

図3(b)はディッシュ中心から径方向に取った位置と、当該位置から撮像デバイス134に入射する光量との関係を示す図である。図3(b)において実線で示す曲線は、開口絞り132を対物レンズ131の焦点位置に配置したとき(すなわちZs=Zf)の光量を表している。この場合、ディッシュD周縁部のメニスカスが生じている領域Rmにおいて、中央部に対して光量が低下する。ディッシュDの壁面に近づくにつれて入射光Lの屈折も大きくなり、光量の低下も顕著となる。   FIG. 3B is a diagram illustrating the relationship between the position taken in the radial direction from the dish center and the amount of light incident on the imaging device 134 from the position. A curve indicated by a solid line in FIG. 3B represents the light amount when the aperture stop 132 is disposed at the focal position of the objective lens 131 (that is, Zs = Zf). In this case, in the region Rm where the meniscus at the peripheral edge of the dish D is generated, the amount of light is reduced with respect to the central portion. As it approaches the wall surface of the dish D, the refraction of the incident light L increases, and the decrease in the amount of light becomes significant.

一方、開口絞り132を対物レンズ131の焦点位置よりも遠く、つまり撮像デバイス134側に配置した場合には、図3(b)に点線で示すように、対物レンズ131の周縁部に対向する領域で光量が増加する。このため、メニスカスの領域Rmでは光量の低下が抑えられ、光量が均一と見なせる領域が広がる。つまりこの領域では、メニスカスの影響による光量低下が、絞り位置調整による光量増加によりキャンセルされ補正される。   On the other hand, when the aperture stop 132 is located farther than the focal position of the objective lens 131, that is, on the imaging device 134 side, as shown by a dotted line in FIG. 3B, a region facing the peripheral portion of the objective lens 131. Increases the light intensity. For this reason, in the meniscus region Rm, a decrease in the amount of light is suppressed, and a region in which the amount of light can be regarded as uniform spreads. That is, in this region, the light amount decrease due to the influence of the meniscus is canceled and corrected by the light amount increase due to the aperture position adjustment.

ただし、観察光学系130の光軸回りの回転対称性に起因して、メニスカスの影響がなく補正の必要のない部分において光量の低下が現れる。また、メニスカスの影響による光量低下、絞り位置調整による光量増加の程度はいずれも位置依存性がある。これらのことから、単一の撮像位置と単一の絞り位置との組み合わせにおいて上記のような補正作用が有効に機能する有効領域Raは限定的である。   However, due to the rotational symmetry about the optical axis of the observation optical system 130, the light quantity decreases in a portion where there is no influence of meniscus and correction is not necessary. Further, the degree of light quantity reduction due to the influence of the meniscus and the degree of light quantity increase due to aperture position adjustment are both position dependent. For these reasons, the effective region Ra in which the above correction action functions effectively in a combination of a single imaging position and a single aperture position is limited.

したがって、撮像時の開口絞り132の位置については、撮像位置、つまり撮像部13の水平方向位置に応じて動的に設定されることが好ましい。また、撮像位置を互いに異ならせて複数の画像を撮像し、それぞれの有効領域Raに対応する領域を抽出して合成し、試料全体の画像とすることが好ましい。   Therefore, it is preferable that the position of the aperture stop 132 at the time of imaging is dynamically set according to the imaging position, that is, the horizontal position of the imaging unit 13. In addition, it is preferable that a plurality of images are captured at different imaging positions, and an area corresponding to each effective area Ra is extracted and combined to form an image of the entire sample.

図4は撮像位置と有効領域との関係を示す図である。本願発明者の知見によれば、図4に示すように、入射光Lがメニスカスで屈折してディッシュD底面から出射され、対物レンズ131、開口絞り132および結像レンズ133を経て撮像デバイス134に至る光路において、ディッシュD底面から出射される光の主光線の光軸OAに対する傾き角θと、開口絞り132に入射する主光線の傾き角φとが一致するときに、当該入射光Lの入射位置およびその近傍で特に良好な光量の補正効果が得られる。つまり、ある撮像位置、ある絞り位置で撮像される画像のうち、上記条件が満たされる位置およびその近傍領域が有効領域Raである。   FIG. 4 is a diagram showing the relationship between the imaging position and the effective area. According to the knowledge of the inventor of the present application, as shown in FIG. 4, the incident light L is refracted by the meniscus and emitted from the bottom surface of the dish D, and passes through the objective lens 131, the aperture stop 132, and the imaging lens 133 to the imaging device 134. When the inclination angle θ of the principal ray of the light emitted from the bottom surface of the dish D with respect to the optical axis OA coincides with the inclination angle φ of the principal ray incident on the aperture stop 132, the incident light L is incident. A particularly good light quantity correction effect can be obtained at and near the position. In other words, among the images captured at a certain imaging position and a certain aperture position, a position where the above condition is satisfied and its neighboring area are effective areas Ra.

この実施形態では、撮像位置に対応する好ましい絞り位置Zsおよびそのときの有効領域Raの範囲を予め求めておき、撮像時にはそのときの撮像位置に応じた絞り位置Zsに開口絞り131を配置して撮像を行う。そして、得られた画像から有効領域Raに対応する部分を抽出することで、メニスカスの影響が排除された試料の部分画像が得られる。ディッシュDの底面形状が円形である場合には、メニスカスの回転対称性から、撮像位置についてはディッシュ中心Cdから撮像光学系130の光軸OAまでの距離Roにより表すことができる。   In this embodiment, a preferable aperture position Zs corresponding to the imaging position and a range of the effective area Ra at that time are obtained in advance, and an aperture stop 131 is arranged at the aperture position Zs corresponding to the imaging position at the time of imaging. Take an image. Then, by extracting a portion corresponding to the effective area Ra from the obtained image, a partial image of the sample from which the influence of the meniscus is eliminated can be obtained. When the bottom shape of the dish D is circular, the imaging position can be represented by a distance Ro from the dish center Cd to the optical axis OA of the imaging optical system 130 due to the rotational symmetry of the meniscus.

なお、メニスカスの現れ方は、液体の粘度やディッシュ壁面との濡れ性等によって異なることがある。したがって、培地Mとなる液体の種類や注入量ごとに、絞り位置Zsおよび有効領域Raとの対応関係を求めておくことが好ましい。求められた対応関係については、例えばテーブル化して参照情報としてメモリ145に記憶保存しておくことができる。撮像時にはこのテーブルを参照して、指定された撮像位置に応じた絞り位置Zsおよび有効領域Raを求めることができる。   The appearance of the meniscus may vary depending on the viscosity of the liquid, the wettability with the dish wall surface, and the like. Therefore, it is preferable to obtain a correspondence relationship between the throttle position Zs and the effective area Ra for each type of liquid that becomes the medium M and the injection amount. The obtained correspondence relationship can be stored as a reference information in the memory 145 as a table, for example. During imaging, this table can be referred to determine the aperture position Zs and the effective area Ra according to the designated imaging position.

また、絞り位置Zsについては、フォーカス合わせのために撮像部13全体がZ方向に移動し、これに伴って焦点FPのZ方向位置Zfも上下することから、固定された座標系においてよりも、焦点FPの位置Zfに対する相対値として規定されることが好ましい。固定された座標系において絞り位置Zsの適正位置を規定する場合には、焦点位置の変動分に対応する補正が必要である。   Further, with respect to the aperture position Zs, the entire imaging unit 13 moves in the Z direction for focusing, and the Z direction position Zf of the focal point FP also moves up and down accordingly, so that in the fixed coordinate system, It is preferably defined as a relative value to the position Zf of the focal point FP. When the appropriate position of the aperture position Zs is defined in the fixed coordinate system, correction corresponding to the variation of the focal position is necessary.

次に、撮像部13の撮像視野よりも平面サイズの大きい試料を撮像し試料全体に対応する画像を作成する場合の処理について説明する。その基本的な考え方は、
(1)撮像位置を変更しながら複数回撮像を行い、試料を複数の原画像に分割して撮像する、
(2)撮像視野にメニスカスが含まれる場合には、撮像時に開口絞り132の位置を調整することで光量低下を抑制する、
(3)撮像後の画像処理により、各原画像からメニスカスの影響のない部分を抽出して合成し、試料全体を表す画像を作成する、
というものである。
Next, a process in a case where a sample having a larger planar size than the imaging field of the imaging unit 13 is imaged and an image corresponding to the entire sample is created will be described. The basic idea is
(1) Imaging is performed a plurality of times while changing the imaging position, and the sample is divided into a plurality of original images to be captured,
(2) When a meniscus is included in the imaging field of view, a decrease in the amount of light is suppressed by adjusting the position of the aperture stop 132 during imaging.
(3) Extracting and synthesizing a portion not affected by meniscus from each original image by image processing after imaging, and creating an image representing the entire sample.
That's it.

図5は原画像の撮像原理を説明する図である。より具体的には、図5(a)は試料を複数の原画像に分割する際の分割方法を示す。図5(a)に示すように、この例ではディッシュDの内部を29枚の原画像に分割して撮像する。隣接する原画像の撮像範囲は、画像の欠落、つまりどの原画像にも含まれない試料の領域が生じるのを防止するために、互いに一部が重複するように配置される。なお、各原画像の撮像範囲の実際の形状は矩形であるが、図5(a)では、原画像の重なりを見やすくするために隅を丸めた矩形として示している。また、原画像の枚数や配置はディッシュのサイズや形状により適宜変更可能である。   FIG. 5 is a diagram for explaining the principle of capturing an original image. More specifically, FIG. 5A shows a dividing method when the sample is divided into a plurality of original images. As shown in FIG. 5A, in this example, the inside of the dish D is imaged by dividing it into 29 original images. The imaging ranges of adjacent original images are arranged so as to partially overlap each other in order to prevent missing images, that is, sample regions not included in any original image. In addition, although the actual shape of the imaging range of each original image is a rectangle, in FIG. 5A, it is shown as a rectangle with rounded corners to make it easy to see the overlap of the original images. Further, the number and arrangement of the original images can be appropriately changed depending on the size and shape of the dish.

実線で示される撮像範囲Rc1(9箇所)は、原画像ディッシュDの周縁部よりも十分内側に配置されており、メニスカスの影響を考慮する必要がない。したがって、開口絞り132は対物レンズ131の焦点位置に配置される(Zs=Zf)。これらの撮像範囲Rc1をそれぞれ撮像することで、試料の中央部分の画像情報が得られる。   The imaging ranges Rc1 (9 places) indicated by the solid line are arranged sufficiently inside the peripheral edge of the original image dish D, and it is not necessary to consider the influence of the meniscus. Therefore, the aperture stop 132 is disposed at the focal position of the objective lens 131 (Zs = Zf). Image information of the central portion of the sample can be obtained by imaging each of these imaging ranges Rc1.

点線で示される撮像範囲Rc2(16箇所)は、撮像範囲Rc1の周りを囲むように配置され、それぞれディッシュD周縁部の一部を含む。これらの撮像範囲Rc2の撮像時には、メニスカスの影響の大きさに応じた絞り位置調整がなされる。   The imaging ranges Rc2 (16 places) indicated by dotted lines are arranged so as to surround the imaging range Rc1, and each include a part of the periphery of the dish D. During the imaging of these imaging ranges Rc2, the diaphragm position is adjusted according to the magnitude of the meniscus influence.

また、破線で示される撮像範囲Rc3(4箇所)は、画像品質向上のために補助的に撮像される原画像の範囲である。ディッシュDの中央部分に設定される撮像範囲Rc1にはメニスカスの影響は現れないが、例えば観察光学系130におけるケラレや収差等により、原画像の周縁部において画像品質が低下する場合がある。より画像品質の良好な撮像範囲の中央部分の画像情報を利用するために、ディッシュD中央部の撮像範囲Rc1間の境界部分を覆うように撮像範囲Rc3が設定される。撮像範囲Rc3の撮像時にも、開口絞り132は対物レンズ131の焦点位置に配置される。   In addition, imaging ranges Rc3 (four locations) indicated by broken lines are ranges of original images that are supplementarily captured for improving image quality. Although the influence of the meniscus does not appear in the imaging range Rc1 set in the center portion of the dish D, the image quality may deteriorate at the peripheral portion of the original image due to, for example, vignetting or aberration in the observation optical system 130. In order to use the image information of the central portion of the imaging range with better image quality, the imaging range Rc3 is set so as to cover the boundary portion between the imaging ranges Rc1 in the center of the dish D. The aperture stop 132 is disposed at the focal position of the objective lens 131 even during imaging of the imaging range Rc3.

図5(b)は撮像時に参照される参照テーブルのデータ構造の一例を示す。上記のように1つのディッシュD内の試料を複数の原画像に分割して撮像するために、例えば図5(b)に示されるテーブルが参照される。上記した29箇所の撮像範囲に対応する原画像に、適宜の順番で画像番号(1〜29)が付される。画像番号で特定される各原画像に対して、当該原画像を得るための撮像位置(XY座標)と、絞り位置Zsの設定値と、当該原画像のうちの有効領域Raを示す情報(例えば座標値)とが互いに関連付けられてテーブル化されている。ある画像番号の原画像を撮像する際には、テーブルを参照して得られた絞り位置Zsの設定値が適用され、撮像された原画像から有効領域Raに対応する部分画像が抽出される。各原画像から抽出された部分画像を合成し再構成することで、試料全体に対応する画像が得られる。   FIG. 5B shows an example of the data structure of a reference table that is referred to during imaging. In order to divide and sample the sample in one dish D into a plurality of original images as described above, for example, a table shown in FIG. 5B is referred to. Image numbers (1 to 29) are assigned to the original images corresponding to the above-described 29 imaging ranges in an appropriate order. For each original image specified by the image number, information indicating the imaging position (XY coordinates) for obtaining the original image, the set value of the aperture position Zs, and the effective area Ra of the original image (for example, Are coordinated with each other in a table. When an original image having a certain image number is captured, a set value of the aperture position Zs obtained by referring to the table is applied, and a partial image corresponding to the effective area Ra is extracted from the captured original image. By combining and reconstructing the partial images extracted from the original images, an image corresponding to the entire sample can be obtained.

各原画像中の有効領域Raは、各原画像から抽出された有効領域をつなぎ合わせることでディッシュD内の全領域をカバーすることができるように設定される。   The effective area Ra in each original image is set so that the entire area in the dish D can be covered by connecting the effective areas extracted from each original image.

図6はこの実施形態における画像作成処理を示すフローチャートである。この画像作成処理は、CPU141がメモリ145に予め記憶された制御プログラムを実行し、装置各部に所定の動作を行わせることにより実現される。   FIG. 6 is a flowchart showing image creation processing in this embodiment. This image creation process is realized by the CPU 141 executing a control program stored in advance in the memory 145 and causing each unit of the apparatus to perform a predetermined operation.

最初に、外部から試料を担持するディッシュDが撮像装置1に搬入され、ホルダ11にセットされる(ステップS101)。次に、インターフェース142を介してユーザーまたは外部のホスト装置から与えられる試料に関する情報を受け付ける(ステップS102)。試料の情報は、例えば、ディッシュDのサイズ、培地Mの種類および注入量、培養される細胞Cの種類等である。   First, the dish D carrying a sample from the outside is carried into the imaging apparatus 1 and set in the holder 11 (step S101). Next, the information regarding the sample given from a user or an external host apparatus is received via the interface 142 (step S102). The sample information includes, for example, the size of the dish D, the type and amount of medium M to be injected, the type of cell C to be cultured, and the like.

これらの情報および参照テーブルとして予めメモリ145に記憶されている情報とに基づき、CPU141は、撮像位置の割り付けや撮像順序、開口絞り132の位置設定、撮像分解能、照明条件等の組み合わせからなる撮像スケジュールを作成する(ステップS103)。そして、撮像スケジュールに基づき、撮像位置、絞り位置等を順次変更設定しながら撮像部13が複数回撮像を実行し(ステップS104)、これにより複数枚の原画像が取得される。   Based on this information and information stored in advance in the memory 145 as a reference table, the CPU 141 captures an imaging schedule including a combination of imaging position allocation and imaging sequence, aperture stop 132 position setting, imaging resolution, illumination conditions, and the like. Is created (step S103). Then, based on the imaging schedule, the imaging unit 13 executes imaging a plurality of times while sequentially changing and setting the imaging position, the aperture position, and the like (step S104), thereby acquiring a plurality of original images.

こうして得られた複数の原画像に基づき、CPU141が画像処理を行うことにより、試料の全体像に対応する画像が作成される。具体的には、各原画像から有効領域Raに対応する部分画像が抽出され(ステップS105)、それらを合成した合成画像が作成される(ステップS106)。得られた合成画像では、異なる原画像から抽出された部分画像の継ぎ目において画像要素の連続性が損なわれていることがある。そこで、スムージング処理によって継ぎ目の不連続性が解消される(ステップS107)。そして、こうして作成された合成画像が画像メモリ144に保存されるともに、出力画像として外部装置に出力される(ステップS108)。   Based on the plurality of original images thus obtained, the CPU 141 performs image processing, thereby creating an image corresponding to the entire image of the sample. Specifically, partial images corresponding to the effective area Ra are extracted from each original image (step S105), and a composite image obtained by synthesizing them is created (step S106). In the obtained composite image, the continuity of image elements may be impaired at the joint between partial images extracted from different original images. Therefore, the discontinuity of the seam is eliminated by the smoothing process (step S107). Then, the composite image created in this way is stored in the image memory 144 and is output to the external device as an output image (step S108).

作成された出力画像では、メニスカスの影響による周縁部での光量低下が絞り位置調整によって補正されており、上記した画像作成処理によって、ディッシュD内の全体において光量ムラの少ない画像が得られる。   In the created output image, the decrease in the amount of light at the peripheral edge due to the influence of the meniscus is corrected by the aperture position adjustment, and an image with little unevenness in the amount of light in the entire dish D is obtained by the image creation process described above.

以上説明したように、この実施形態においては、ディッシュDが本発明の「試料容器」に相当しており、ホルダ11が本発明の「保持手段」として機能している。また、照明部12が本発明の「照明手段」として機能する一方、撮像デバイス134が本発明の「撮像手段」として機能している。また、メカ駆動部146が本発明の「位置決め手段」および「絞り位置変更手段」としての機能を有している。また、CPU141が本発明の「画像処理手段」として機能している。   As described above, in this embodiment, the dish D corresponds to the “sample container” of the present invention, and the holder 11 functions as the “holding means” of the present invention. The illumination unit 12 functions as the “illuminating unit” of the present invention, while the imaging device 134 functions as the “imaging unit” of the present invention. Further, the mechanical drive unit 146 has functions as “positioning means” and “aperture position changing means” of the present invention. The CPU 141 functions as the “image processing means” of the present invention.

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、観察光学系に結像レンズを設けているが、結像レンズを用いない観察光学系であっても、対物レンズと開口絞りとの配置に関して本発明を適用することで、上記実施形態と同様の作用効果を得ることが可能である。   The present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the spirit of the present invention. For example, in the above embodiment, an imaging lens is provided in the observation optical system. However, even in an observation optical system that does not use an imaging lens, the present invention is applied to the arrangement of the objective lens and the aperture stop. It is possible to obtain the same effects as those of the above embodiment.

また、上記実施形態の撮像部13では、二次元イメージセンサである受光素子1341を用いて撮像を行っているが、一方向に延びるリニアイメージセンサをこれと直交する方向に走査移動させて二次元画像の撮像を行う撮像部を用いても、上記と同様の効果を得ることが可能である。   In the imaging unit 13 of the above embodiment, imaging is performed using the light receiving element 1341 that is a two-dimensional image sensor. However, the linear image sensor extending in one direction is scanned and moved in a direction orthogonal to the two-dimensional image. Even if an image pickup unit that picks up an image is used, the same effect as described above can be obtained.

また、上記実施形態の照明部12は、照明光として拡散光をディッシュDに入射させるものであるが、試料中の細胞の種類によっては、より拡散度の低い照明光、例えば平行光を入射させた方が鮮明な画像を得られる場合もある。このような場合に対応するために、例えば以下のような構成としてもよい。   Moreover, although the illumination part 12 of the said embodiment makes diffused light enter into the dish D as illumination light, depending on the kind of cell in a sample, illumination light with a lower diffusivity, for example, parallel light, is made incident. In some cases, a clearer image can be obtained. In order to cope with such a case, for example, the following configuration may be adopted.

図7は照明部の他の構成例を示す図である。なお、この変形例は、上記実施形態に対して照明部の構成が異なるのみであるので、上記実施形態と同一の構成については記載を省略しまたは同一符号を付してその説明を省略する。この変形例の照明部22は、光源221と絞り222との組み合わせにより観察光学系130の光軸OAと平行に近い成分を多く含む照明光を作り出し、ディッシュDに照射する。この場合、絞り222が本発明の「低減部」に相当することとなる。   FIG. 7 is a diagram illustrating another configuration example of the illumination unit. In this modification, only the configuration of the illuminating unit is different from that in the above embodiment. Therefore, the description of the same configuration as that in the above embodiment is omitted or the same reference numerals are given and the description thereof is omitted. The illumination unit 22 of this modified example generates illumination light including many components close to parallel to the optical axis OA of the observation optical system 130 by the combination of the light source 221 and the diaphragm 222 and irradiates the dish D. In this case, the diaphragm 222 corresponds to the “reducing portion” of the present invention.

また、上記実施形態の撮像装置1は、ホルダ11に保持されたディッシュDに対し撮像部13を移動させる構成であるが、撮像部13を固定してディッシュDを移動させるようにしても技術的には等価である。また、フォーカス合わせの方法についても、上記のように撮像部13全体を上下動させる構成に代えて、例えば複数のレンズからなる光学系のレンズ間距離を調整するものを適用してもよい。   Moreover, although the imaging device 1 of the said embodiment is a structure which moves the imaging part 13 with respect to the dish D hold | maintained at the holder 11, even if it fixes the imaging part 13 and moves the dish D, it is technical. Is equivalent to. Also, as a focusing method, instead of the configuration in which the entire imaging unit 13 is moved up and down as described above, for example, a method for adjusting the distance between lenses of an optical system including a plurality of lenses may be applied.

この発明は、例えば医療・生物科学分野で用いられるディッシュのような、例えば細胞を含む試料の撮像を必要とする分野に特に好適に適用することができるが、その応用分野は医療・生物科学分野に限定されない。   The present invention can be particularly suitably applied to a field that requires imaging of a sample including cells, such as a dish used in the medical / biological science field, but the application field thereof is the medical / biological field. It is not limited to.

1 撮像装置
11 ホルダ(保持手段)
12 照明部(照明手段)
13 撮像部
14 制御部
131 対物レンズ
132 開口絞り
133 結像レンズ
134 撮像デバイス(撮像手段)
141 CPU(画像処理手段)
146 メカ駆動部(位置決め手段、絞り位置変更手段)
D ディッシュ(試料容器)
FP 焦点
Ra 有効領域
Rz (絞り位置Zsの)可変範囲
Zf 焦点位置
Zs 絞り位置
DESCRIPTION OF SYMBOLS 1 Imaging device 11 Holder (holding means)
12 Illumination part (illumination means)
DESCRIPTION OF SYMBOLS 13 Imaging part 14 Control part 131 Objective lens 132 Aperture stop 133 Imaging lens 134 Imaging device (imaging means)
141 CPU (image processing means)
146 Mechanical drive (positioning means, aperture position changing means)
D dish (sample container)
FP Focus Ra Effective area Rz Variable range (of aperture position Zs) Zf Focus position Zs Aperture position

Claims (12)

試料容器に設けられた底面が平坦な窪部に液体が注入されてなる試料を撮像する撮像装置において、
前記窪部の前記底面が水平となるように前記試料容器を保持する保持手段と、
前記試料容器の上方から前記窪部に照明光を入射させる照明手段と、
前記窪部の前記底面から透過する光を受光して前記試料を撮像する撮像手段と、
前記保持手段に保持される前記試料容器と前記撮像手段との間に設けられ、前記窪部の前記底面から出射される光を前記撮像手段に入射させる観察光学系と、
前記撮像手段および前記観察光学系を一体的に、前記試料容器に対し前記窪部の前記底面と平行な方向に相対移動させて、前記窪部に対する前記撮像手段の位置決めを行う位置決め手段と
を備え、
前記観察光学系は、前記保持手段と前記撮像手段との間の光路上に設けられた対物レンズと、前記対物レンズと前記撮像手段との間の光路上に設けられた開口絞りと、前記開口絞りを前記対物レンズの光軸方向に移動させる絞り位置変更部とを有し、
前記撮像手段および前記観察光学系と前記試料容器との相対位置に応じて、前記絞り位置変更部が前記開口絞りの位置を変化させる撮像装置。
In an imaging device for imaging a sample in which a liquid is injected into a recess having a flat bottom surface provided in a sample container,
Holding means for holding the sample container so that the bottom surface of the recess is horizontal;
Illuminating means for allowing illumination light to enter the recess from above the sample container;
Imaging means for receiving light transmitted from the bottom surface of the recess and imaging the sample;
An observation optical system that is provided between the sample container held by the holding unit and the imaging unit, and that makes the light emitted from the bottom surface of the recess enter the imaging unit;
Positioning means for positioning the imaging means with respect to the depression by moving the imaging means and the observation optical system integrally relative to the sample container in a direction parallel to the bottom surface of the depression. ,
The observation optical system includes an objective lens provided on an optical path between the holding unit and the imaging unit, an aperture stop provided on an optical path between the objective lens and the imaging unit, and the aperture An aperture position changing unit that moves the aperture in the optical axis direction of the objective lens;
An imaging apparatus in which the aperture position changing unit changes the position of the aperture stop in accordance with a relative position between the imaging means and the observation optical system and the sample container.
前記開口絞りの可動範囲が、前記対物レンズの焦点位置と、前記焦点位置よりも前記撮像手段側の位置とを含む請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the movable range of the aperture stop includes a focal position of the objective lens and a position closer to the imaging means than the focal position. 前記撮像手段および前記観察光学系と前記試料容器との相対位置を互いに異ならせて前記撮像手段により撮像された複数の画像を合成する画像処理手段を備える請求項1または2に記載の撮像装置。   The imaging apparatus according to claim 1, further comprising: an image processing unit that synthesizes a plurality of images captured by the imaging unit with different relative positions of the imaging unit, the observation optical system, and the sample container. 前記撮像手段および前記観察光学系と前記試料容器との相対位置と、前記開口絞りの位置とを予め関連付けた情報に基づき、前記絞り位置変更部が前記開口絞りの位置を変化させる請求項1ないし3のいずれかに記載の撮像装置。   The throttling position changing unit changes the position of the aperture stop based on information in which a relative position between the imaging unit and the observation optical system and the sample container and a position of the aperture stop are associated in advance. 4. The imaging device according to any one of 3. 前記観察光学系は、前記開口絞りと前記撮像手段との間の光路上に、前記開口絞りを通過した光を前記撮像手段に収束させる結像レンズを備える請求項1ないし4のいずれかに記載の撮像装置。   The said observation optical system is provided with the imaging lens which converges the light which passed the said aperture stop on the said imaging means on the optical path between the said aperture stop and the said imaging means. Imaging device. 前記照明手段は、前記窪部に拡散光を入射させる請求項1ないし5のいずれかに記載の撮像装置。   The imaging device according to claim 1, wherein the illuminating unit causes diffused light to enter the recess. 前記照明手段は、光源と、該光源から前記窪部に入射する光の拡散度を低減させる低減部とを備える請求項1ないし5のいずれかに記載の撮像装置。   The imaging device according to claim 1, wherein the illuminating unit includes a light source and a reduction unit that reduces a diffusion degree of light incident on the depression from the light source. 底面が平坦な窪部に液体が注入されてなる試料を担持する試料容器を、前記窪部の前記底面が水平となるように保持する工程と、
前記試料を撮像する撮像手段と、前記窪部の前記底面から透過する光を前記撮像手段に入射させる観察光学系とを一体的に、前記試料容器に対し前記窪部の前記底面と平行な方向に相対移動させて、前記窪部に対する前記撮像手段の位置決めを行う工程と、
前記試料容器の上方から前記窪部に照明光を入射させる工程と、
前記窪部の前記底面から透過する光を前記観察光学系により前記撮像手段に入射させて前記試料を撮像する工程と
を備え、
前記観察光学系は、前記試料容器と前記撮像手段との間の光路上に設けられた対物レンズと、前記対物レンズと前記撮像手段との間の光路上に設けられた開口絞りと、前記開口絞りを前記対物レンズの光軸方向に移動させる絞り位置変更部とを有し、
前記撮像手段および前記観察光学系と前記試料容器との相対位置に応じて、前記絞り位置変更部により前記開口絞りの位置を変化させる撮像方法。
Holding a sample container carrying a sample in which a liquid is injected into a recess having a flat bottom so that the bottom of the recess is horizontal; and
An imaging means for imaging the sample and an observation optical system for allowing light transmitted from the bottom surface of the recess to enter the imaging means, and a direction parallel to the bottom surface of the recess with respect to the sample container To position the imaging means relative to the recess,
A step of causing illumination light to enter the recess from above the sample container;
Imaging the sample by allowing the light transmitted from the bottom surface of the recess to enter the imaging means by the observation optical system,
The observation optical system includes an objective lens provided on an optical path between the sample container and the imaging unit, an aperture stop provided on an optical path between the objective lens and the imaging unit, and the aperture An aperture position changing unit that moves the aperture in the optical axis direction of the objective lens;
An imaging method in which the position of the aperture stop is changed by the stop position changing unit in accordance with a relative position between the image pickup means and the observation optical system and the sample container.
前記試料容器に対し前記撮像手段を互いに異なる位置に複数回位置決めし、その都度撮像を行う請求項8に記載の撮像方法。   The imaging method according to claim 8, wherein the imaging unit is positioned at different positions with respect to the sample container a plurality of times, and imaging is performed each time. 1回の撮像では、前記試料のうち一部領域を前記撮像手段の撮像視野に収めて撮像を行う請求項9に記載の撮像方法。   The imaging method according to claim 9, wherein in one imaging, a part of the sample is captured in an imaging field of view of the imaging unit. 互いに異なる2回の撮像において、前記撮像手段の撮像視野を前記試料上で部分的に重複させる請求項10に記載の撮像方法。   The imaging method according to claim 10, wherein an imaging field of view of the imaging unit is partially overlapped on the sample in two different imaging operations. 複数回の撮像による複数の画像を画像処理により合成する工程を備える請求項9ないし11のいずれかに記載の撮像方法。   The imaging method according to claim 9, further comprising a step of synthesizing a plurality of images obtained by imaging a plurality of times by image processing.
JP2014199858A 2014-09-30 2014-09-30 Imaging apparatus and imaging method Active JP6389721B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014199858A JP6389721B2 (en) 2014-09-30 2014-09-30 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014199858A JP6389721B2 (en) 2014-09-30 2014-09-30 Imaging apparatus and imaging method

Publications (2)

Publication Number Publication Date
JP2016071117A JP2016071117A (en) 2016-05-09
JP6389721B2 true JP6389721B2 (en) 2018-09-12

Family

ID=55866804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014199858A Active JP6389721B2 (en) 2014-09-30 2014-09-30 Imaging apparatus and imaging method

Country Status (1)

Country Link
JP (1) JP6389721B2 (en)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6294905B2 (en) 2016-03-31 2018-03-14 株式会社Subaru Display device
JP6419761B2 (en) * 2016-09-05 2018-11-07 株式会社Screenホールディングス Imaging arrangement determination method, imaging method, and imaging apparatus
WO2018047218A1 (en) * 2016-09-06 2018-03-15 オリンパス株式会社 Observation device
JP6873231B2 (en) 2017-03-30 2021-05-19 富士フイルム株式会社 Cell image evaluation device and method and program
WO2018207361A1 (en) * 2017-05-12 2018-11-15 オリンパス株式会社 Cell image acquisition device
EP3422288B1 (en) 2017-06-26 2020-02-26 Tecan Trading Ag Imaging a well of a microplate
EP3674686B1 (en) 2017-08-25 2023-11-01 FUJIFILM Corporation Learning device, method, and program for discriminator
JP6707207B2 (en) 2017-09-27 2020-06-10 富士フイルム株式会社 Observation device, observation method, and observation program
DK3677945T3 (en) * 2017-09-28 2024-01-15 Kataoka Corp Phase difference observation device and cell processing device
JP6527273B2 (en) 2017-09-28 2019-06-05 株式会社片岡製作所 Phase contrast observation device and cell processing device
JP7202066B2 (en) * 2017-10-19 2023-01-11 株式会社ミツトヨ Variable focal length lens device
JP2019090892A (en) * 2017-11-14 2019-06-13 オリンパス株式会社 Sample observation method and sample holder
JP6985966B2 (en) * 2018-03-26 2021-12-22 株式会社Screenホールディングス Imaging method and imaging device
CN115096180A (en) * 2022-06-17 2022-09-23 滁州长光思普智能科技有限公司 A variable light source lighting system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009122356A (en) * 2007-11-14 2009-06-04 Nikon Corp Phase contrast microscope
JP2011221297A (en) * 2010-04-09 2011-11-04 Nikon Corp Microscope
JP5556444B2 (en) * 2010-06-30 2014-07-23 株式会社ニコン Microscope, culture observation equipment
JP2012147739A (en) * 2011-01-20 2012-08-09 Nikon Corp Observation apparatus
JP2012159794A (en) * 2011-02-02 2012-08-23 Nikon Corp Microscope device
JP5690359B2 (en) * 2012-03-30 2015-03-25 株式会社Screenホールディングス Imaging apparatus and imaging method
JP6195373B2 (en) * 2013-12-19 2017-09-13 株式会社Screenホールディングス Imaging apparatus and imaging method
DE102014107933B4 (en) * 2014-06-05 2020-02-06 Carl Zeiss Microscopy Gmbh Process for the microscopic imaging of samples on the bottoms of fluid-filled pots of a microtiter plate

Also Published As

Publication number Publication date
JP2016071117A (en) 2016-05-09

Similar Documents

Publication Publication Date Title
JP6389721B2 (en) Imaging apparatus and imaging method
US9088729B2 (en) Imaging apparatus and method of controlling same
CN109417602B (en) Image processing method, image processing apparatus, image capturing apparatus, and image capturing method
US11482021B2 (en) Adaptive sensing based on depth
JP6195373B2 (en) Imaging apparatus and imaging method
EP3214163B1 (en) Imaging apparatus
CN104797925B (en) Container and system for not needing optical lens and optical analysis sample
JP2021503098A (en) Slide rack gripper device
JP2021193459A (en) Low resolution slide imaging, slide label imaging and high resolution slide imaging using dual optical path and single imaging sensor
JP2020535478A (en) Double-pass macro image
EP3214427B1 (en) Imaging apparatus and imaging method
TWI625548B (en) Imaging configuration determination method and imaging device in imaging device
WO2017056599A1 (en) Image generation device and image generation method
JP6419761B2 (en) Imaging arrangement determination method, imaging method, and imaging apparatus
US10298833B2 (en) Image capturing apparatus and focusing method thereof
JP2012147739A (en) Observation apparatus
US10943331B2 (en) Image processing method and image processing apparatus
US20230203423A1 (en) Image capturing device, image capturing system, and control method
JP6985966B2 (en) Imaging method and imaging device
JP6263589B1 (en) Image processing method, image processing apparatus, and imaging apparatus
JP2019045737A (en) Observation device
US20230031698A1 (en) Image processing method and classification model construction method
JP2016191646A (en) Imaging apparatus, imaging method, and culture vessel
JP2025002600A (en) Observation system, focus position calculation method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170626

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180731

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180820

R150 Certificate of patent or registration of utility model

Ref document number: 6389721

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250