JP2023018827A - 画像処理方法、プログラムおよび記録媒体 - Google Patents
画像処理方法、プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP2023018827A JP2023018827A JP2021123128A JP2021123128A JP2023018827A JP 2023018827 A JP2023018827 A JP 2023018827A JP 2021123128 A JP2021123128 A JP 2021123128A JP 2021123128 A JP2021123128 A JP 2021123128A JP 2023018827 A JP2023018827 A JP 2023018827A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- sample
- processing method
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000013145 classification model Methods 0.000 claims abstract description 56
- 238000010801 machine learning Methods 0.000 claims abstract description 28
- 239000002131 composite material Substances 0.000 claims abstract description 14
- 210000004027 cell Anatomy 0.000 claims description 102
- 238000003384 imaging method Methods 0.000 claims description 76
- 210000001161 mammalian embryo Anatomy 0.000 claims description 53
- 230000003287 optical effect Effects 0.000 claims description 17
- 210000001109 blastomere Anatomy 0.000 claims description 16
- 210000002257 embryonic structure Anatomy 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 239000000523 sample Substances 0.000 description 100
- 238000000034 method Methods 0.000 description 39
- 230000006870 function Effects 0.000 description 31
- 238000012545 processing Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 15
- 238000005286 illumination Methods 0.000 description 15
- 210000001519 tissue Anatomy 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000018109 developmental process Effects 0.000 description 5
- 235000013601 eggs Nutrition 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 239000007788 liquid Substances 0.000 description 4
- 210000002459 blastocyst Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000000472 morula Anatomy 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004113 cell culture Methods 0.000 description 2
- 238000003776 cleavage reaction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000007017 scission Effects 0.000 description 2
- 210000004340 zona pellucida Anatomy 0.000 description 2
- 210000003771 C cell Anatomy 0.000 description 1
- 102000003886 Glycoproteins Human genes 0.000 description 1
- 108090000288 Glycoproteins Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000032823 cell division Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 210000004748 cultured cell Anatomy 0.000 description 1
- 238000012258 culturing Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000000499 gel Substances 0.000 description 1
- 208000000509 infertility Diseases 0.000 description 1
- 230000036512 infertility Effects 0.000 description 1
- 231100000535 infertility Toxicity 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 210000002220 organoid Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001850 reproductive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M1/00—Apparatus for enzymology or microbiology
- C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30044—Fetus; Embryo
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Organic Chemistry (AREA)
- Biotechnology (AREA)
- Medicinal Chemistry (AREA)
- Pathology (AREA)
- Wood Science & Technology (AREA)
- Zoology (AREA)
- Immunology (AREA)
- Microbiology (AREA)
- Genetics & Genomics (AREA)
- Biophysics (AREA)
- Hematology (AREA)
- Urology & Nephrology (AREA)
- Food Science & Technology (AREA)
- General Engineering & Computer Science (AREA)
- Sustainable Development (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明は、細胞を含む試料を撮像した画像を解析するための画像処理方法に関するものである。
病理医学や細胞培養の技術分野においては、三次元的に培養された細胞や組織切片等の試料の良否や発達状況等を判断することが必要なケースがある。このような目的のために、例えば光学顕微鏡により、試料に対する焦点深さを多段階に異ならせて撮像された、いわゆるマルチフォーカス画像が利用されることがある。細胞が光透過性を有することから、焦点深さを異ならせて撮像を行うことで、種々の深さにおける試料の鮮明な画像を得ることができるからである。
この場合の各画像では、合焦位置近傍にある試料中の構造物については鮮明な像が得られる一方、合焦位置から離れた位置にある構造物の像は不鮮明でぼやけたものとなる。このため、三次元構造を取る試料の全体を把握するためには、多数の画像を観察して総合的な判断を行う必要がある。
このような観察作業の負担を軽減するための画像処理技術も提案されている。例えば特許文献1に記載の技術では、予め正常な組織について取得された断面画像群(特許文献1では「3Dボリューム」と称される)から選出された画像において組織の形態的特徴が求められ、機械学習により分類モデルが構築される。そして、観察対象の組織の画像を分類モデルに入力し、正常な組織の特徴をどの程度有しているかにより、正常/異常が判定される。
上記の従来技術は、正常な組織と異常な組織とのように2つの属性の間で明らかな形態的特徴の差異があることが前提となっており、2つの属性間での分類についてのみ有効なものである。また、特定の属性に偏った事例から得られる情報のみに依存した分類となるため、必ずしも汎用性は高くない。さらに、収集された事例のデータの一部のみしか有効に利用されないという問題もある。
これらのことから、三次元構造を有する試料のマルチフォーカス画像から、細胞の個数やその良否、種別等、解析や診断に有用な情報を自動的に取得することができる技術の確立が求められる。特に、マルチフォーカス画像を総合的に評価しなければ得られないような情報を自動的に取得することができれば便宜である。
この発明は上記課題に鑑みなされたものであり、細胞を含む試料を互いに異なる焦点深さで撮像した複数の画像から、試料に関する情報を自動的に取得することのできる技術を提供することを目的とする。
この発明の一の態様は、細胞を含む試料を解析するための画像処理方法であって、上記目的を達成するため、前記試料を互いに異なる焦点深さで撮像した複数の原画像を取得する工程と、前記原画像の各々に含まれる前記試料の像を一の画像平面に含む合成画像を作成する工程と、予め構築された分類モデルに前記合成画像を入力し、その出力を取得する工程とを備えている。ここで、前記分類モデルは、互いに同じ細胞または細胞塊の像であって焦点深さが互いに異なる複数の像を一の画像平面に含む教師画像を用いて予め機械学習を実行することで構築されたものである。
このように構成された発明では、予め機械学習により構築された分類モデルに入力画像を与えることで所定の出力が取得される。ここで、入力画像とそれにより得られる出力との関係、つまり、入力画像を与えた分類モデルからどのような出力を引き出すかについては、機械学習の段階において、教師画像に対応する教示データをどのように与えるかによって規定することが可能である。この発明では、分類モデルからどのような出力を得ようとするかについては問わない。ただし、分類モデルに入力される入力画像、および、分類モデルを構築するための機械学習に適用される教師画像については、以下の通りのものとされる。
まず、分類モデルに入力される画像は、細胞を含む試料を互いに異なる焦点深さで撮像した複数の原画像(すなわちマルチフォーカス画像)の各々に含まれる試料の像が、一の画像平面に含まれるように作成された合成画像である。この合成画像には、1つの試料を種々の焦点深さで撮像したときの像が含まれている。それらの像の各々は、焦点深さ近傍における試料の構造を鮮明に表したものであるから、合成画像全体としては、種々の深さにおける試料の詳細な構造に関する情報を有している。
教師画像も、互いに同じ細胞または細胞塊の像であって焦点深さが互いに異なる複数の像を一の画像平面に含む画像である。したがって、1つの教師画像全体としては、細胞または細胞塊を種々の焦点深さで撮像したときの像を含み、当該細胞または細胞塊の種々の深さにおける詳細な構造に関する情報を有している。
このような教師画像を用いて実行される機械学習により構築される分類モデルは、合成画像に含まれる試料の像が有する種々の焦点深さにおける詳細な構造に関する情報から導かれる出力を返すことになる。このことは、前記した「マルチフォーカス画像を総合的に評価して情報を自動的に取得する」という機能を実現していることに他ならない。すなわち、本発明によれば、試料を互いに異なる焦点深さで撮像した複数の画像から、試料に関する有用な情報を自動的に取得することが可能である。
また、この発明の他の一の態様は、上記した画像処理方法の各工程を、コンピューターに実行させるためのプログラムである。また、この発明の他の一の態様は、上記プログラムを非一時的に記憶したコンピューター読み取り可能な記録媒体である。このように構成された発明では、本発明の実行主体として、例えば既存のコンピューター装置を用いることが可能となる。
上記のように、本発明によれば、互いに異なる焦点深さで撮像された試料の像を同一平面に配した合成画像を入力画像とし、同様の画像を教師画像として予め構築された分類モデルに該入力画像を入力することで、三次元構造を有する試料の構造を総合的に評価した結果出力を得ることが可能である。
図1は本発明に係る画像処理方法を適用可能な撮像装置の概略構成を示す図である。この撮像装置1は、ディッシュと呼ばれる平型で上面が開口する試料容器10に担持された細胞等の生試料を撮像する装置である。試料容器10には、培地Mとしての液体が所定量注入され、この液体中において所定の培養条件で培養された細胞等の生試料Sが、この撮像装置1の撮像対象物となる。培地は適宜の試薬が添加されたものでもよく、また液状で試料容器10に注入された後ゲル化するものであってもよい。
なお、ここでは撮像対象物を生試料とした場合を例示して説明するが、本発明における撮像対象物はこれに限定されるものではない。例えば、適宜の担体に担持された組織切片や病理標本等が撮像対象物とされてもよい。また、試料容器がウェルと呼ばれる窪部を複数備えた、いわゆるウェルプレートであり、各ウェルに担持された生試料が撮像対象物とされてもよい。
撮像装置1は、試料容器10を保持するホルダ11と、ホルダ11の上方に配置される照明部12と、ホルダ11の下方に配置される撮像部13と、これら各部の動作を制御するCPU141を有する制御部14とを備えている。ホルダ11は、試料容器10の下面周縁部に当接して試料容器10を略水平姿勢に保持する。
照明部12は、ホルダ11により保持された試料容器10に向けて照明光を出射する。照明光の光源としては、例えば白色LED(Light Emitting Diode)を用いることができる。光源と適宜の照明光学系とを組み合わせたものが、照明部12として用いられる。照明部12により、試料容器10内の撮像対象物が上方から照明される。
ホルダ11により保持された試料容器10の下方に、撮像部13が設けられる。撮像部13には、試料容器10の直下位置に撮像光学系が配置されており、撮像光学系の光軸は鉛直方向に向けられている。図1は側面図であり、図の上下方向が鉛直方向を表す。
撮像部13により、試料容器10内の撮像対象物が明視野撮像される。具体的には、照明部12から出射され試料容器10の上方から液体に入射した光が撮像対象物を照明し、試料容器10の底面から下方へ透過した光が、撮像部13の対物レンズ131を含む撮像光学系を介して撮像素子132の受光面に入射する。撮像光学系により撮像素子132の受光面に結像する撮像対象物の像(明視野像)が、撮像素子132により撮像される。撮像素子132は二次元の受光面を有するエリアイメージセンサであり、例えばCCDセンサまたはCMOSセンサを用いることができる。
撮像部13は、制御部14に設けられたメカ制御部146により水平方向および鉛直方向に移動可能となっている。具体的には、メカ制御部146がCPU141からの制御指令に基づき駆動機構15を作動させ、撮像部13を水平方向に移動させることにより、撮像部13が試料容器10に対し水平方向に移動する。また対物レンズ131を鉛直方向へ移動させることにより、フォーカス調整がなされる。
駆動機構15は、撮像部13を水平方向に移動させる際、図において点線矢印で示すように照明部12を撮像部13と一体的に移動させる。すなわち、照明部12は、その光中心が撮像部13の光軸と略一致するように配置されており、撮像部13が水平方向に移動するとき、これと連動して移動する。これにより、撮像部13が試料容器10に対し移動する場合でも、照明部12の光中心が常に撮像部13の光軸上に位置することとなり、どの位置においても撮像対象物に対する照明条件を一定にして、撮像条件を良好に維持することができる。
撮像部13の撮像素子132から出力される画像信号は、制御部14に送られる。すなわち、画像信号は制御部14に設けられたADコンバータ(A/D)143に入力されてデジタル画像データに変換される。CPU141は、受信した画像データに基づき適宜画像処理を実行する。
制御部14はさらに、画像データや演算中のデータを一時的に記憶するためのメモリ144と、CPU141が実行すべきプログラムやCPU141により生成されるデータを記憶保存するためのストレージ145とを有している。メモリ144はCPU144から高速アクセスが可能である一方、記憶容量はストレージ145よりも小さい。ストレージ145は例えばハードディスクドライブ(HDD)であり、記憶容量は大きいが、アクセス速度はメモリ144よりも遅い。これらは目的に応じて使い分けられる。CPU141は、ストレージ145に記憶された制御プログラムを呼び出し実行することにより、後述する各種の演算処理を行う。
その他に、制御部14には、インターフェース(IF)部142が設けられている。インターフェース部142は、ユーザーからの操作入力の受け付けや、ユーザーへの処理結果等の情報提示を行うユーザインターフェース機能のほか、通信回線を介して接続された外部装置との間でのデータ交換を行う機能を有する。ユーザインターフェース機能を実現するために、インターフェース部142には、ユーザーからの操作入力を受け付ける入力受付部147と、ユーザーへのメッセージや処理結果などを表示出力する表示部148とが接続されている。
ここでは、試料容器10内の生試料Sの上方から照明光を入射させ、下方へ透過した光を受光することで撮像が行われる。例えば倒立系の光学顕微鏡を用いた明視野撮像も原理的にはこれと同様である。しかしながら、これとは逆に、試料の下方から照明光を入射させて上方へ透過してくる光を受光して撮像を行う構成であってもよい。例えば正立系の光学顕微鏡を用いた明視野撮像がこれに相当する。
以下、上記のように構成された撮像装置1を用いて実行可能な、本発明に係る画像処理方法の一実施形態について説明する。後述するように、撮像装置1は、対物レンズ131の光軸方向、つまりZ方向の焦点位置を多段階に変更しながら生試料Sを撮像することで、生試料Sを種々の焦点深さを種々に異ならせた複数の画像からなる画像セット、いわゆるマルチフォーカス画像スタックを取得する機能を有する。以下の説明において単に「焦点位置」という場合、特に断りのない限り深さ方向、つまりZ方向の焦点位置を意味するものとする。また、深さ方向の焦点位置を単に「焦点深さ」ということがある。
撮像装置1はさらに、マルチフォーカス画像スタックを用いて後述する画像処理を実行することにより、三次元構造を有する生試料Sの種類や状態等に関する定性的または定量的情報を導出する機能を有する。この画像処理には、予め機械学習により構築された分類モデルを用いたクラス分類が含まれる。機械学習された分類モデルを用いた生試料Sの解析の具体的手法、および、生試料Sのどのような属性をクラス分類の対象とするかについては種々の提案がなされており、この撮像装置1においてもそれらを適宜選択して適用することが可能である。
ここでは、試料Sとして発達初期段階の受精卵(以下、単に「胚」という)を撮像し、その画像から、当該胚を構成する細胞の数を計数するための細胞計数処理について説明する。これにより得られたデータに基づき、ユーザー(具体的には医師または胚培養士)による胚の評価作業を効果的に支援することが可能となる。例えば不妊治療を目的とする胚の培養において、培養が良好に進行しているか否かを判断するための知見を得ることを目的として、本実施形態の細胞計数方法を適用することができる。なお、処理対象についてはこのような胚に限定されず、複数の細胞が密接する各種の細胞塊に対し本処理を適用可能である。
図2は本実施形態において生試料となる胚の構造を模式的に示す図である。既に知られているように、卵子が受精すると卵割が開始され、桑実胚と呼ばれる状態を経て胚盤胞が形成される。本実施形態の細胞計数方法は、例えば受精直後から桑実胚期の胚を構成する細胞の数を計数するのに好適である。
図2(a)は初期段階(例えば4細胞期から桑実胚期)の胚の構造を模式的に示すものである。胚Eの外形は概ね球形である。その表面は透明帯と呼ばれるゼリー状の糖タンパク質の層Zで覆われており、その内部に受精卵が細胞分裂することで生じる複数の細胞Cが含まれる。培養が良好に進行する状態では、図2(a)左図に示すように、透明帯Zの内部は比較的大きな細胞Cにより占められている。卵割が進むにつれて、細胞Cの数は増えてゆく。
このような胚Eを、図に点線で示す焦点深さを種々に変えながら明視野撮像を行うと、図2(a)右図に模式的に示す複数の画像が得られる。試料容器10の下方に配置される撮像部13から見た焦点深さが最も浅い、つまり焦点位置が最も下側に位置決めされた画像Iaでは、胚Eを構成する細胞Cのいずれにも焦点が合わず、不鮮明な像となる。
焦点位置が上方に移動し、例えば最も下方にある細胞C1に合焦した状態の画像Ibでは、当該細胞C1が鮮明となる。さらに焦点位置が上方に移動した画像Icでは、焦点の合わなくなった細胞C1が不鮮明となり、焦点位置に近い位置にある細胞C2~C4がより鮮明な像として現れる。細胞C1が透明に近ければ、細胞C1を透過してその奥にある他の細胞が像に現れる。さらに焦点位置が上方に移動した画像Idでは、焦点の合わなくなった細胞C1~C4が不鮮明となり、それらを透過して、より焦点位置に近い位置にあるさらに上方の細胞C5~C7の像が現れる。
以下では、画像Iaに含まれる胚Eの像を符号Ea、画像Ibに含まれる胚Eの像を符号Eb、画像Icに含まれる胚Eの像を符号Ec、画像Idに含まれる胚Eの像を符号Edにより、それぞれ表すことがある。
このように、焦点深さを多段階に変更設定しながら、同一試料を同一視野で複数回撮像することにより、図2(b)に示すように、視野が同一で焦点深さが互いに異なる複数の画像のセットを取得することができる。この画像セットはマルチフォーカス画像スタックと称されるものである。画像スタックST内の各画像では、細胞塊(この例では胚E)を構成する細胞のうち焦点位置に近い位置にあるものが鮮明な像をなす一方、焦点位置から離れた細胞の像は不鮮明となる。また、焦点位置よりも手前(撮像部13に近い側)にある細胞を透過して、その奥にある細胞の像が現れる。本実施形態の細胞数計数処理では、画像スタックSTが有するこのような特徴を利用して、胚を構成する細胞の数が計数される。
図3は本実施形態の細胞計数処理の概要を示すフローチャートである。この処理および以下に説明する各処理は、CPU141がストレージ145に予め記憶されている制御プログラムを読み出して実行し、装置各部に所定の動作を行わせることにより実現される。なお、これら各種の処理は、生試料Sを撮像する処理を除けば、一般的なハードウェア構成を有するコンピューター装置によっても実現可能である。このため、本実施形態は、撮像機能を有する撮像装置と、画像処理機能を有するコンピューター装置との組み合わせによって実現されてもよい。また、既に撮像された画像スタックがある場合には、その画像スタックを用いてコンピューター装置が画像処理を行うことによっても実現可能である。
最初に、処理対象物である生試料S(ここでは胚E)に対し、焦点深さを互いに異ならせて明視野撮像を複数回行うことにより取得されるマルチフォーカス画像スタックSTが取得される(ステップS101)。撮像部13が撮像を行うことによって新規に取得されてもよく、また予め撮像され外部ストレージ等に保存されている画像データを、適宜の記録媒体や電気通信回線を通じて外部から取得する態様でもよい。
図2からわかるように、画像スタックST内の個々の画像においては、焦点位置の近傍にある細胞については鮮明な像が得られ、当該細胞の形状や構造に関する詳細な情報が含まれている。しかしながら、焦点位置から遠い位置にある細胞については像が不鮮明となり、詳細な情報を得ることが難しくなっている。
したがって、胚Eを構成する細胞の数を計数するという目的においては、1つの画像だけでなく、焦点深さの異なる複数の画像から総合的に個々の細胞を特定し計数する必要がある。しかしながら、1つの入力画像から1つのクラス分類を返すという分類モデルは、必ずしもこのような目的に適したものとは言えない。
そこで、この実施形態では、画像スタックSTを構成する複数の画像の各々から胚Eの像を含む部分領域を切り出して(ステップS102)、それらを1つの画像平面に配置した合成画像を作成し(ステップS103)、これを分類モデルの入力画像として使用する。複数の画像またはそれらから切り出された部分領域を合成して1つの画像を作成する加工は「タイリング加工」と呼ばれるものであり、以下ではこのようにして作成される合成画像を「タイリング画像」と称する。
図4はタイリング画像の例を模式的に示す図である。このタイリング画像Itでは、単一の画像平面に、画像スタックSTを構成する複数の画像のうち画像Iaから切り出された胚Eの像Ea、画像Ibから切り出された胚Eの像Eb、画像Icから切り出された胚Eの像Ec、および画像Idから切り出された胚Eの像Edが配置されている。このようなタイリング画像Itでは、種々の焦点深さで撮像された胚Eの像が1つの画像に含まれることで、当該画像は種々の深さにおける胚Eの構造を表す情報を有することとなる。
このように、焦点深さが互いに異なる複数の像を含み、そのために種々の深さの情報を有するタイリング画像を、入力画像として学習済みの分類モデルに入力する(ステップS104)。具体的には後述するが、分類モデルは、入力画像と同様に焦点深さが互いに異なる複数の像を含む画像を教師画像とする教師あり学習により予め構築されたものである。分類モデルは、入力画像に含まれる情報を解析し、それに対応する分類クラスを学習結果に基づいて出力する。
出力結果については、適宜の態様でユーザーに提示される(ステップS105)。例えば、分類モデルの出力あるいは該出力に基づく判定結果等を表示部148に表示することにより、処理結果をユーザーに提示することができる。この例では、生試料Sとしての胚Eを構成する細胞の個数が結果として出力される。このようにして、胚Eをマルチフォーカス撮像した画像スタックSTから、胚Eを構成する細胞の個数が計数される。
図5は分類モデルを構築するための方法を示す図である。より具体的には、図5(a)は分類モデルを模式的に示す図であり、図5(b)はそれを学習させるための処理を示すフローチャートである。また、図6は教師画像と教示入力との関係を例示する図である。
図5(a)に示すように、分類モデル100は、解析対象となる胚Eを撮像した画像スタックSTから作成されたタイル画像Itの入力を受け付け、当該胚Eを構成する細胞の個数を出力する機能を有する。これを可能とするために、予め教師画像と、それに付与されるべき分類クラスを表すものとして教示入力されたラベルとを関連付けた教師データDtが多数収集され、それを用いた機械学習が行われる。
具体的には、図5(b)に示すように、まず教師画像の素材として用いられるマルチフォーカス画像スタックが取得される(ステップS201)。例えば、解析対象となる生試料S(この例では胚E)と同種の生試料を、焦点深さを多段階に異ならせながら撮像することにより、このような画像スタックを取得することができる。
そして、各画像から生試料の像を含む領域を切り出し(ステップS202)、それらを合成するタイリング加工により、1つの教師画像が作成される。教師画像は複数作成される(ステップS203)。複数の教師画像を作成する方法としては、例えば、生試料を複数準備し、それらについてそれぞれ上記のステップS201~S203を実行することができる。また、1つの生試料を撮像して得られた多数の画像からいくつかを選出した画像セットを複数作成し、各画像セットからそれぞれ教師画像が作成されてもよい。
こうして作成された教師画像のうち1つが表示部148に表示される(ステップS204)。そして、表示された教師画像に付与されるべき分類クラスを表すラベルに関するユーザーからの教示入力を受け付ける(ステップS205)。この例においては、胚Eを構成する細胞の数をラベルとすることができる。
図6に示す教師画像の模式図において、実線で示される円は合焦した状態で撮像された細胞を、点線で示される円は合焦していない、つまりぼやけた状態で撮像された細胞を表すものとする。教師画像に含まれる胚の複数の像の間では、焦点深さの違いにより、どの細胞が合焦状態となるかが互いに異なっている。ユーザーは、表示された教師画像に含まれる複数の像を観察して当該胚を構成する細胞の数を読み取り、その結果を教示入力する。
図6(a)に示す事例では、教師画像に含まれる個々の像から細胞数を読み取ることは難しいが、複数の像を総合的にみると、4個の細胞からなる4割球であると判断することができる。ユーザーは、当該画像に対しラベル「4」を教示入力する。同様に、5割球の事例(b)についてはラベル「5」が、6割球の事例(c)ではラベル「6」が、それぞれ教示される。これらと細胞数が同じものおよび異なるものを含めて、できるだけ多数の事例が収集されることが望ましい。
全ての教師画像につき教示入力が完了するまでステップS204~S205が繰り返し実行される(ステップS206)。これにより、全ての教師画像にラベルが付与される。そして、これらの教師画像に基づき機械学習が実行される(ステップS207)。このようにして分類モデル100が構築される。
分類モデル100を実現するための分類アルゴリズムとしては、教師あり学習により訓練される各種のものを適用可能である。画像から得られる種々の情報を広く活用するという点からは、抽出すべき特徴を人為的に指定する必要のない深層学習(ディープラーニング)アルゴリズムが好適である。例えば、畳み込みニューラルネットワークを適用することができる。
このようにして構築された分類モデル100は、入力画像に含まれる種々の焦点深さで撮像された胚Eの像を解析して、当該胚Eを構成する細胞の数を出力する機能を獲得したものとなる。また、機械学習時に各教師画像に与えるラベルを変更することで他の機能を実現することができる。例えば、胚の成長段階、生試料を構成する細胞の種類、形状、培養状態の良否など各種の属性に関するラベルを付与して学習させることで、画像からそれらの属性を自動的に判定することが可能となる。
次に、マルチフォーカス画像スタックからタイリング画像を作成する、より具体的な方法について説明する。以下に説明する考え方は、教師画像となるタイリング画像を作成する場合にも、分類モデルへの入力画像となるタイリング画像を作成する場合にも同様に適用可能である。
まず、画像スタックSTについては、生試料Sに含まれる複数の細胞の各々から情報を取得するためには、全ての細胞が少なくとも1つの画像において鮮明な像となっていることが望ましい。したがって、撮像時の焦点位置の送りピッチについては、生試料を構成する各細胞のサイズ(具体的にはZ方向の長さ)と同程度、またはこれよりも小さく設定されていることが望ましい。例えば細胞のサイズが10μm程度であるとするならば、焦点ピッチはこれと同程度、またはこれより少し小さい例えば数μmに設定することができる。なお、撮像光学系の被写界深度が細胞のサイズに対して比較的大きい場合には、焦点位置の送りピッチはもう少し大きくてもよい場合がある。
そうすると、生試料を深さ方向の全体にわたりカバーするように作成される画像スタックSTは、多数(例えば数十枚)の画像を含むものとなり得る。それらから切り出される生試料の像を全て1つの合成画像にタイリングすることは現実的とは言えない。合成画像の画像データが非常に大きくなって以後の画像処理が複雑になり、また焦点深さが近接した画像間では得られる情報に大きな差異がない場合もあるからである。
このことから、多数の画像を含む画像スタックSTについては、その中から適当な数の画像を選出し、それらの画像に含まれる生試料の像を切り出してタイリング画像として合成するのが現実的である。またこのようにすると、選出する画像の組み合わせを異ならせることで、1つの画像スタックSTから複数のタイリング画像を作成することが可能となる。このことは、教師画像を作成する際には教師となる事例を豊富化するのに役立つ。また分類モデルへの入力画像を作成する際には、後述するように、分類モデルが出力した結果の確からしさの評価に利用することが可能である。
図7は画像スタックからタイリング画像を作成するプロセスを模式的に示す図である。生試料Sをマルチフォーカス撮像することで得られる多数の原画像を含む画像スタックSTから、適宜の選出ルールでいくつかの原画像Ip,Iq,Ir,Isが選出される。こうして選出された原画像には、合焦状態がそれぞれ異なる、したがって鮮明さが互いに異なる生試料Sの像が含まれている。各画像Ip,Iq,Ir,Isから、生試料Sの像を含む領域Rp.Rq,Rr,Rsがそれぞれ切り出され、それらを同一画像平面内に合成することでタイリング画像Itが作成される。
タイリング画像Itには、各原画像から切り出された複数の生試料Sの像が含まれており、それらの像の間では、合焦状態が互いに異なっている。したがって、タイリング画像Itは、種々の深さにおける生試料Sの構造を表す情報を含んだものとなっている。
選出された画像Ip,Iq,Ir,Isを原画像としてそのままタイリング画像Itに合成してもよいが、一部領域を切り出して利用することで、例えば培養容器の壁面、培養液中に含まれる気泡、画像ノイズ等、後の画像処理において阻害要因となるような画像オブジェクトを予め除去しておくことが可能になる。また、画像のデータサイズの縮減にも寄与する。
画像の選出ルールは任意であり、例えば焦点位置の順に一定の間隔で画像を抜き出すことができるが、必ずしも等間隔でなくてもよい。特に教師画像となるタイリング画像を作成する際には、各画像をチェックして典型例として好ましいものを人為的に抽出するようにしてもよい。例えば細胞の鮮明な像を含まない画像やノイズの多い画像を除外するとの対応が可能である。なお、これらの画像が教師画像として適さないというわけではなく、例えばそのような状況に対応する典型例として利用することが可能である。要するに、画像スタックSTからの画像の選出に当たっては、目的に応じ種々のルールが適用されてよい。
図8は画像スタックから原画像を選出するルールの例を示す図である。ここでは、画像スタックSTが16枚の画像を含むものとし、焦点位置の順に沿って符号I1,I2,I3,…,I16を付すことによってそれらの画像を相互に区別することとする。また、1枚のタイリング画像Itには、4枚の原画像から切り出された生試料Sの像を含めるものとする。ただし、これらの数値は説明のための一例にすぎず、これに限定されるものではない。
事例(a)は最も単純な選出ルールの一例であり、画像I1~I16を焦点位置の順に4枚ずつ選出して原画像とし、計4枚のタイリング画像が作成される。この場合、各タイリング画像に反映される深さ方向の情報に大きな偏りが生じる。すなわち、原画像I1~I4から構成されるタイリング画像と、原画像I11~I16から構成されるタイリング画像とでは、生試料の情報が反映されている深さ方向の範囲が大きく異なっており、相互の相関性は高くない。
生試料全体を総合的に評価するという目的からは、1つのタイリング画像にできるだけ広い深さ範囲の情報が反映されていることが望ましい。この観点から、事例(b)では1枚おき、事例(c)では4枚おきに、画像スタックSTから原画像が選出されている。このようにすることで、より広い深さ範囲の情報を各タイリング画像に含ませることが可能になる。
一方、事例(d)は、1つの画像、例えば画像I1を起点として1枚おきに4枚の原画像I1,I3,I5,I7が選出されて1つのタイリング画像が作成される点では事例(b)と同じである。ただし、1枚の原画像が1枚のタイリング画像のみに反映される事例(b)と異なり、この事例(d)では、起点となる画像I1,I2,I3,…を1つずつ順にシフトさせることにより、1枚の原画像が複数枚のタイリング画像に含まれることとなる。原画像の組み合わせはタイリング画像ごとに異なっている。もう1つの事例(e)は、選出される原画像が2枚おきとなっている点で事例(d)と相違しているが、考え方は同じである。
このように、原画像の組み合わせを変えつつ、1つの原画像が複数のタイリング画像に含まれるようにすることで、次のような効果が得られる。教師画像の作成に際しては、教師となる事例を多様化・豊富化することで、機械学習の精度を向上させることができる。また、分類モデルへの入力画像を作成する際には、出力結果に対する信頼性を向上させることができる。その理由は以下の通りである。
画像スタックからいくつかの画像を原画像として選出しタイリング画像を作成する場合、タイリング画像に含まれる情報は、画像スタックが有する情報の全てではなく、選出された画像が有していた情報に偏ったものとならざるを得ない。このため、入力画像に含まれる原画像の組み合わせによって、分類モデルによる分類結果が異なる場合があり得る。このことは結果の信頼性を低下させる原因となる。
原画像の組み合わせを異ならせた複数の入力画像を分類モデルに入力すれば、それぞれの出力値は当然に異なってくると考えられる。ただし、元来同一の試料から取得された画像であるから、出力値がランダムにばらつくわけではなく、種々の出力値各々の出現頻度には、当該試料の有する特徴に応じた何らかの傾向が現れる。したがって、入力画像に含める原画像につき多様な組み合わせを試行することで、そのような傾向を把握することが可能になる。
具体的には、出現頻度が高い出力値ほど、試料の特徴により適合した、つまり正解である蓋然性の高いものであるということができる。例えば10枚の入力画像を分類モデルに入力し、そのうち7回の出力値が一致していれば、その出力値の信頼性は十分に高いと言える。一方、2種類以上の出力値が同程度の頻度で得られた場合、それらの結果はいずれも信頼性が低いと言える。
このように正解である蓋然性の高い出力値を最終出力とすれば、単一の入力画像を用いた場合よりも、出力結果に対する信頼性を向上させることが可能である。また、複数の入力画像に対して得られた複数の出力値を統計的に処理することによって、最終出力の「確からしさ」を定量的に表す指標値を導出することができる。この考え方に基づけば、図3に示される原理的な細胞計数処理を、以下のように改変することが可能である。
図9は細胞計数処理の変形例を示す図である。解析対象となる生試料S(具体的には胚E)のマルチフォーカス画像スタックが取得され(ステップS301)、各画像から生試料Sの像を含む領域が切り出される点(ステップS302)は、図3の処理におけるステップS101~S102と同じである。一方、続くステップS303では、それらの領域の組み合わせを異ならせて合成することで、画像内容が互いに異なる複数のタイリング画像が作成される。
これらのタイリング画像はそれぞれ個別に分類モデル100に入力される(ステップS304)。これにより、分類モデル100は、入力画像のそれぞれに応じた複数の出力、すなわち分類結果を返すことになる。それらを統計的に処理することで、最終的に1つの分類結果に集約することができる。
例えば、複数の入力画像に対応する複数の分類結果のうち、出現頻度が最も大きいものを多数決処理により選出し、それを最終的な分類結果とすることができる(ステップS305)。併せて、最終結果の確からしさを定量的に指標する値(ここでは「確信度」と称する)を算出することができる(ステップS306)。
例えば、複数の出力値のうち、最終結果と一致するものの比率を確信度とすることができる。例えば、胚Eの割球数を出力とする分類モデルにおいて、10枚の入力画像に対し、「4割球」との結果が7回、「5割球」との結果が2回、「6割球」との結果が1回であったとすると、多数決処理により最終結果は「4割球」、その確信度は70%となる。
なお、ここでは「確信度」を最終結果の確からしさを表すものとして最終結果についてのみ確信度が定義されるが、別の考え方として、各出力値に対して確信度を定義することも可能である。これを上記例に適用すると、「5割球」との結果に対する確信度が20%、「6割球」との結果に対する確信度が10%となる。この考え方によれば、各出力値のうち最も確信度が高いものを最終結果とする、という処理も可能である。
また、ニューラルネットワークアルゴリズムにおいて導入される活性化関数であるSoftmax関数を用いて、最終結果および確信度を求めることも可能である。なお、Softmax関数についてはその概念が広く知られているため、ここでは説明を省略することとする。
例えば3枚のタイリング画像について、各分類クラス(4割球~6割球)に対するSoftmax関数の値が下記、
画像1(4割球:96.9%、5割球:2.0%、6割球:0.1%)
画像2(4割球:85.9%、5割球:11.0%、6割球:1.3%)
画像3(4割球:40.3%、5割球:51.0%、6割球:3.1%)
の通りであったとする。なお、ここでは上記以外の分類クラス(例えば7割球以上、4割球未満)を除外しているため、Softmax関数の合計値は100%に満たないことがある。
画像1(4割球:96.9%、5割球:2.0%、6割球:0.1%)
画像2(4割球:85.9%、5割球:11.0%、6割球:1.3%)
画像3(4割球:40.3%、5割球:51.0%、6割球:3.1%)
の通りであったとする。なお、ここでは上記以外の分類クラス(例えば7割球以上、4割球未満)を除外しているため、Softmax関数の合計値は100%に満たないことがある。
分類モデルとしてはSoftmax関数が最大であるものを分類結果として出力するから、画像1および画像2については「4割球」、画像3については「5割球」が出力として返される。したがって、多数決処理による最終結果は「4割球」、その確信度は66.7%となる。
一方、確信度をSoftmax関数から求める場合には、次のような考え方がある。第1には、全ての入力画像を母集団として、最終結果と同じ分類クラスに与えられたSoftmax関数の値を平均する方法である。上記例では、画像1ないし画像3において、最終結果である分類クラス「4割球」に与えられたSoftmax関数値はそれぞれ96.9%、85.9%、40.3%であるから、これらの平均値(74.4%)を確信度とすることができる。
第2には、最終結果と一致する分類クラスが出力された入力画像のみを母集団として、最終結果と同じ分類クラスに与えられたSoftmax関数の値を平均する方法である。上記例では、最終結果である分類クラス「4割球」が出力されたのは画像1および画像2であり、これらに与えられたSoftmax関数の平均値(91.4%)を確信度とすることができる。
また、分類クラスの最終結果をSoftmax関数に基づいて決定することも可能である。例えば、複数の入力画像について、分類クラスごとのSoftmax関数の平均値または合計値を算出し、その値が最大の分類クラスを最終結果とする、という方法を採ることができる。上記例では、画像1~画像3に対し「4割球」の分類クラスに与えられたSoftmax関数の平均値が他の分類クラスにおける値よりも有意に大きいことから、「4割球」を最終結果とすることができる。また、このときの平均値を、最終結果に対する確信度とすることができる。
このように、確信度の定義についてはいくつかの態様が考えられるが、いずれにおいても、確信度の値が大きいほど、最終結果の信頼性が高いことを表していると言える。つまり、ここでいう確信度は、各分類クラスの間で定義される相対的な値であり、その絶対的な数値に何らかの定量的意義があるものではない。極端には、例えば確信度が100%であったとしても、そのときの最終結果の正しさを保証するものではない。どの定義を採用するかについては、確信度の値をどのように活用するかに応じて適宜選択可能である。
上記のようにして求められた分類クラスの最終結果(この例では割球数)と、その結果に対する確信度とは、例えば表示部148により表示されることでユーザーに提示される(ステップS307)。最終的なクラス分類に加えてその確信度が提示されることで、ユーザーは、得られた結果がどの程度信頼できるものであるかを判断することができる。例えば確信度の値が高ければ、生試料の撮像およびそれにより得られた画像に基づく分類が良好に行えたものと判断することができる。一方、確信度の値が低い場合、例えば撮像時の条件設定が不適切であるなど、それまでの処理に何らかの問題が生じている可能性があることをユーザーが認知することができる。
そのような場合、ユーザーは、画像スタックに含まれる画像のいくつかを確認し、必要な措置を取ることができる。例えば条件を再調整して一部の処理をやり直したり、処理結果全体を破棄したりするといった対応が可能である。
また、複数の生試料のそれぞれについて行った細胞計数処理で得られた確信度を統計的に処理し、この細胞計数処理のプロセスそのものの評価に役立てるといった利用法も考えられる。例えば、一定値以上の確信度が得られた細胞計数処理を「成功」、それに満たないものを「失敗」と判断し、成功した細胞計数処理の結果のみが有効なものとして扱われるようにすることができる。
一方、「失敗」と判断される頻度が高い場合には、処理の条件、例えば撮像時の焦点深さの送りピッチや、画像スタックからタイリング画像を作成する際のルール等の見直しを行い、これにより失敗の頻度の低減を図ることが可能である。
以上のように、この実施形態においては、胚Eなど解析対象となる細胞を含む試料Sをマルチフォーカス撮像して得られる画像スタックから、種々の焦点深さで撮像された試料Sの像を同一画像平面に含む合成画像を作成し、これを分類モデル100の入力画像とする。分類モデル100は、入力画像と同様に種々の焦点深さの像を含む教師画像と、当該教師画像に対応する分類クラスとを教師データとして機械学習を実行することにより、予め構築されたものである。
したがって、分類モデル100は、入力画像に含まれる種々の深さにおける試料の情報を解析して、それに対応する分類クラスを出力として返す機能を有している。この実施形態では、試料として発達初期段階の胚Eを、分類クラスとして胚Eを構成する細胞数を用いているので、分類モデル100は、胚Eのマルチフォーカス画像スタックから当該胚Eを構成する細胞の個数を出力する機能を有する。
教師画像および入力画像は、種々の深さにおける細胞の像を含むタイリング画像であり、各像は種々の深さにおける細胞の詳細な構造に関する情報を網羅的に含んでいる。したがって、この実施形態によれば、三次元構造を有する試料について、焦点深さを異ならせて撮像された複数の画像を総合的に評価して1つの分類クラスを決定する、という機能を自動的に実現することができる。分類クラスとして目的に応じたものを設定することにより、試料の種々の属性を自動的に判定することが可能となる。
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態の撮像装置1は、それ自体がマルチフォーカス画像スタックを取得する撮像機能と、画像を解析し細胞計数処理を実行する画像処理機能とを有するものである。しかしながら、本発明に係る画像処理方法は、自身は撮像機能を持たず、撮像機能を有する他の装置での撮像により得られた画像スタックを取得したコンピューター装置によって実行することも可能である。これを可能とするために、上記した処理の各処理ステップをコンピューター装置に実行させるためのソフトウェアプログラムとして、本発明が実施されてもよい。
このようなプログラムの配布は、例えばインターネット等の電気通信回線を介してダウンロードする形式によって行うことが可能であり、また当該プログラムを記録したコンピューター読み取り可能な記録媒体を配布することによっても可能である。また、例えば既存の顕微鏡撮像装置にインターフェースを介してこのプログラムを読み込ませることで、当該装置により本発明を実施することも可能となる。
また、上記実施形態では、収集された教師データに基づく機械学習モデルの構築と、構築された機械学習モデルを利用した細胞計数処理とが同一の装置で実行されているが、これらは異なる装置で実行されてもよい。例えば、演算能力の高いコンピューター装置を用いて機械学習モデルの構築を行い、その結果を撮像装置に実装すれば、演算能力が制限された撮像装置であっても、撮像と細胞計数処理とを担うことが可能となる。
また、演算能力の高いコンピューターで構築された機械学習モデルをそのまま撮像装置に実装するだけでなく、演算能力の高いコンピューター上で構築された機械学習モデルに前述の入力画像(タイリング画像)を入力し、得られた推論結果と推論結果に対応する入力画像とを組み合わせて学習用データとし、撮像装置上で別途機械学習を行う、いわゆる「蒸留」と呼ばれる手法を実施してもよい。この場合、上記演算能力の高いコンピューター上に構築された機械学習モデルから得られた推論結果が、前述の教示入力に相当することとなる。
また、上記実施形態は、本発明の解析対象物である試料として発達初期段階の胚(受精卵)を用い、その細胞数を自動的に計数することを目的としたものであるが、本発明の対象となる試料や、その画像から求めようとする試料の属性に関しては、これらに限定されるものではない。例えば上記と同様胚を解析対象の試料とする場合でも、細胞数以外に、例えばフラグメントの有無やその量などを評価する目的で本発明を適用することができる。機械学習の実行時に与えるラベルを変更することにより、このような応用が可能である。
また、胚の評価においては、その発生ステージ、つまり胚が一連の発生過程のうちどの段階にあるかを判定することが行われるが、そのような判定を目的として、本発明を適用することも可能である。初期胚、初期胚盤胞期、拡張胚盤胞期など、種々のステージの胚のマルチフォーカス画像スタックを収集し、それらから作成された教師画像に発生ステージを表すラベルを付与して機械学習を実行することで、このような機能を実現することが可能である。
その他、例えば細胞培養により人工的に作製されるスフェロイドやオルガノイドの育成の良否判断や、それらに対する薬剤や化学物質の薬効を評価する目的にも、上記実施形態と同様の処理方法を適用することが可能である。このように、本実施形態では、三次元構造を有する試料を総合的に評価することによって初めて得られる、各種の定性的・定量的情報を取得する目的に好適である。
以上、具体的な実施形態を例示して説明してきたように、本発明に係る画像処理方法において、機械学習は、複数の教師画像と、教師画像の各々に対し1種類ずつ教示された分類クラスとに基づき実行されてもよく、その結果として分類モデルは、入力された合成画像に応じた分類クラスを出力する機能を有していてもよい。このような構成によれば、種々の撮像深さで取得された試料の複数の像に対して単一の分類クラスが出力として得られるので、試料の三次元構造を総合的に反映した結果を取得することができる。
また例えば、複数の原画像から選出した一部の原画像に基づき一の合成画像を作成するとともに、原画像の組み合わせを異ならせて複数の合成画像を作成し、複数の原画像の各々を分類モデルに入力して取得した複数の出力のうち一を選択して最終出力とするようにしてもよい。
焦点深さを離散的に変化させて取得された原画像においては、試料が本来的に有する深さ方向の情報の全てを反映させることができない。このような情報の欠落に起因して、分類モデルの出力結果が入力画像の作成方法によってばらつくことがあり得るが、原画像の組み合わせが異なる複数の合成画像を入力画像としたときの出力を総合して最終出力を決定することにより、入力画像の作成方法の違いに起因する結果の偏りを低減することが可能である。
例えば、複数の合成画像を入力画像としたときの複数の出力のうち、出現頻度が最も大きいものを最終出力とすることができる。出力のばらつきはランダムではなく、試料が本来有する特定の属性が強く反映されると考えられる。したがって、複数の出力のうち出現頻度が最も大きいものを選択することは、極めて現実的な手法である。
これらの場合においては、複数の出力に基づき、最終出力の確からしさに関する指標値を算出する工程をさらに備えてもよい。このような指標値を算出することで、得られた結果に対する信頼性や、試料および処理方法が適切であるかなど、各種の付随的情報を取得することが可能である。
ここで、分類モデルとしては、例えば深層学習アルゴリズムによるものを利用可能である。深層学習アルゴリズムでは、画像から抽出すべき特徴を予め人為的に設定しておく必要はなく、教師として適切な事例を多数収集するのみで、精度のよい分類モデルを構築することが可能である。この性質は、細胞やそれを含む組織など個体差が大きく多様性を有する試料の解析において極めて有用なものである。
また、教師画像は、試料に含まれる細胞と同種の細胞の像を含むことが望ましい。上記したように、細胞やそれを含む組織は大きな多様性を有するから、特定の細胞からなる試料について精度よく解析を行うためには、試料に含まれる細胞と同種の細胞の像を含む画像を教師画像として機械学習を実行することが有効である。
また、本発明における原画像としては、光学顕微鏡を用いて撮像された試料の明視野画像を用いることができる。この場合、細胞は照明光である可視光に対して透明に近いため、試料の内部深くまで照明光が到達する。深さ方向における焦点位置を種々に異ならせて撮像を行うことで種々の深さの情報を取得することができることから、明視野顕微鏡画像は、三次元構造を有する試料を総合的に解析するという目的に特に好適である。
また例えば、本発明において、試料は胚であり、分類モデルは胚に含まれる細胞の数を出力するものとすることができる。例えば、割球数が互いに異なる胚の画像に基づき作成された複数の教師画像と、教師画像の各々に対応する割球数として教示された値により表される分類クラスとに基づき機械学習を実行し分類モデルを構築しておけば、胚を構成する細胞の数を自動的に計数することが可能となる。
この発明は、細胞を含む試料を画像処理によって解析する目的に好適なものであり、特に、三次元構造を有する試料の構造を総合的に評価することが求められる用途に好適である。例えば生殖補助医療の分野において、培養された胚(受精卵)の状態を評価する作業を効果的に支援することができる。
1 撮像装置
10 試料容器
13 撮像部
14 制御部
C 細胞
E 胚(試料)
Ia~Id,Ip~Is 原画像
It タイリング画像(教師画像、入力画像)
S 試料
ST 画像スタック
10 試料容器
13 撮像部
14 制御部
C 細胞
E 胚(試料)
Ia~Id,Ip~Is 原画像
It タイリング画像(教師画像、入力画像)
S 試料
ST 画像スタック
Claims (12)
- 細胞を含む試料を解析するための画像処理方法であって、
前記試料を互いに異なる焦点深さで撮像した複数の原画像を取得する工程と、
前記原画像の各々に含まれる前記試料の像を一の画像平面に含む合成画像を作成する工程と、
予め構築された分類モデルに前記合成画像を入力し、その出力を取得する工程と
を備え、
前記分類モデルは、互いに同じ細胞または細胞塊の像であって焦点深さが互いに異なる複数の像を一の画像平面に含む教師画像を用いて予め機械学習を実行することで構築されたものである、画像処理方法。 - 前記機械学習は、複数の前記教師画像と、前記教師画像の各々に対し1種類ずつ教示された分類クラスとに基づき実行され、
前記分類モデルは、入力された前記合成画像に応じた前記分類クラスを出力する、請求項1に記載の画像処理方法。 - 前記複数の原画像から選出した一部の前記原画像に基づき一の前記合成画像を作成するとともに、前記原画像の組み合わせを異ならせて複数の前記合成画像を作成し、
前記複数の原画像の各々を前記分類モデルに入力して取得した複数の出力のうち一を選択して最終出力とする、請求項1または2に記載の画像処理方法。 - 前記複数の出力のうち出現頻度が最も大きいものを前記最終出力とする、請求項3に記載の画像処理方法。
- 前記複数の出力に基づき、前記最終出力の確からしさに関する指標値を算出する工程をさらに備える、請求項3または4に記載の画像処理方法。
- 前記分類モデルは、深層学習アルゴリズムによるものである、請求項1ないし5のいずれかに記載の画像処理方法。
- 前記教師画像は、前記試料に含まれる細胞と同種の細胞の像を含む、請求項1ないし6のいずれかに記載の画像処理方法。
- 前記原画像は、光学顕微鏡を用いて撮像された前記試料の明視野画像である、請求項1ないし7のいずれかに記載の画像処理方法。
- 前記試料は胚であり、前記分類モデルは前記胚に含まれる細胞の数を出力する、請求項1ないし8のいずれかに記載の画像処理方法。
- 前記機械学習は、割球数が互いに異なる前記胚の画像に基づき作成された複数の前記教師画像と、前記教師画像の各々に対応する前記割球数として教示された値により表される分類クラスとに基づき実行される、請求項9に記載の画像処理方法。
- 請求項1ないし6のいずれかに記載の画像処理方法の各工程をコンピューターに実行させるための、プログラム。
- 請求項11に記載のプログラムを非一時的に記録した、コンピューター読み取り可能な記録媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021123128A JP2023018827A (ja) | 2021-07-28 | 2021-07-28 | 画像処理方法、プログラムおよび記録媒体 |
PCT/JP2022/027419 WO2023008180A1 (ja) | 2021-07-28 | 2022-07-12 | 画像処理方法、コンピュータープログラムおよび記録媒体 |
US18/290,594 US20240354935A1 (en) | 2021-07-28 | 2022-07-12 | Image processing method and recording medium |
EP22849244.3A EP4379039A1 (en) | 2021-07-28 | 2022-07-12 | Image processing method, computer program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021123128A JP2023018827A (ja) | 2021-07-28 | 2021-07-28 | 画像処理方法、プログラムおよび記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023018827A true JP2023018827A (ja) | 2023-02-09 |
Family
ID=85086715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021123128A Pending JP2023018827A (ja) | 2021-07-28 | 2021-07-28 | 画像処理方法、プログラムおよび記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240354935A1 (ja) |
EP (1) | EP4379039A1 (ja) |
JP (1) | JP2023018827A (ja) |
WO (1) | WO2023008180A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5464244B2 (ja) * | 2012-08-24 | 2014-04-09 | 富士ゼロックス株式会社 | 画像処理装置、プログラム及び画像処理システム |
JP6996709B2 (ja) * | 2018-01-31 | 2022-01-17 | 株式会社Screenホールディングス | 画像処理方法、画像判定方法、プログラムおよび記録媒体 |
CN111724379B (zh) * | 2020-06-24 | 2024-05-24 | 武汉互创联合科技有限公司 | 基于组合视图的显微图像细胞计数与姿态识别方法及系统 |
-
2021
- 2021-07-28 JP JP2021123128A patent/JP2023018827A/ja active Pending
-
2022
- 2022-07-12 US US18/290,594 patent/US20240354935A1/en active Pending
- 2022-07-12 WO PCT/JP2022/027419 patent/WO2023008180A1/ja active Application Filing
- 2022-07-12 EP EP22849244.3A patent/EP4379039A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023008180A1 (ja) | 2023-02-02 |
US20240354935A1 (en) | 2024-10-24 |
EP4379039A1 (en) | 2024-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7176697B2 (ja) | 細胞評価システム及び方法、細胞評価プログラム | |
JP2021515240A (ja) | 定量的バイオマーカデータのオーバレイを有する病理学用拡張現実顕微鏡 | |
Giurumescu et al. | Quantitative semi-automated analysis of morphogenesis with single-cell resolution in complex embryos | |
WO2013099045A1 (ja) | 画像表示装置および画像表示方法 | |
WO2011013319A1 (ja) | 細胞塊の成熟判定手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 | |
WO2010146802A1 (ja) | 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 | |
JPWO2010143420A1 (ja) | 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 | |
US11131839B2 (en) | Sample observation device and sample observation method | |
EP4317403A1 (en) | Cell counting method, construction method of machine learning model for cell counting, computer program, and storage medium | |
CN114127307A (zh) | 细胞图像解析方法和细胞图像解析装置 | |
WO2018100917A1 (ja) | 情報処理装置、観察システム、情報処理方法及びプログラム | |
JP2020060822A (ja) | 画像処理方法および画像処理装置 | |
JP6345001B2 (ja) | 画像処理方法および画像処理装置 | |
JP6548965B2 (ja) | 顕微鏡システムおよび顕微鏡観察方法 | |
US20200190453A1 (en) | System and method for imaging and illumination for cell confluence measurement | |
WO2023008180A1 (ja) | 画像処理方法、コンピュータープログラムおよび記録媒体 | |
JP2012039929A (ja) | 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法 | |
JP7382289B2 (ja) | 画像処理方法、プログラムおよび記録媒体 | |
US20180189606A1 (en) | Method and device for supporting creation of teaching data, program and program recording medium | |
US20240118527A1 (en) | Fluorescence microscopy for a plurality of samples | |
JP2023035517A (ja) | 画像処理方法、受精卵の評価方法、コンピュータープログラムおよび記録媒体 | |
JP2019078884A (ja) | 画像処理装置および顕微鏡システム | |
CN111902711B (zh) | 试样观察装置和试样观察方法 | |
EP4125065A1 (en) | Image processing method and classification model construction method | |
JP2012122829A (ja) | 生体内部の画像化方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240617 |