Nothing Special   »   [go: up one dir, main page]

CN112967785A - 细胞解析方法、装置、系统及程序 - Google Patents

细胞解析方法、装置、系统及程序 Download PDF

Info

Publication number
CN112967785A
CN112967785A CN202011328851.0A CN202011328851A CN112967785A CN 112967785 A CN112967785 A CN 112967785A CN 202011328851 A CN202011328851 A CN 202011328851A CN 112967785 A CN112967785 A CN 112967785A
Authority
CN
China
Prior art keywords
analysis
cell
artificial intelligence
data
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011328851.0A
Other languages
English (en)
Inventor
今久保桃子
陆建银
白井健太郎
胜俣惠理
冈本有司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sysmex Corp
Original Assignee
Sysmex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sysmex Corp filed Critical Sysmex Corp
Publication of CN112967785A publication Critical patent/CN112967785A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1431Signal processing the electronics being integrated with the analyser, e.g. hand-held devices for on-site investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N15/1436Optical arrangements the optical arrangement forming an integrated apparatus with the sample container, e.g. a flow cell
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6486Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N2015/0019Means for transferring or separating particles prior to analysis, e.g. hoppers or particle conveyors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1028Sorting particles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1493Particle size
    • G01N2015/1495Deformation of particles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Dispersion Chemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)

Abstract

本发明旨在使多个解析项目的解析变得容易。由解析细胞的细胞解析方法解决课题,所述细胞解析方法包括:生成试样中所含的细胞的解析用数据,从多个人工智能算法选择人工智能算法,所述人工智能算法接受生成的所述解析用数据的输入,由选择的所述人工智能算法基于所述解析数据生成显示所述细胞的性状的数据。

Description

细胞解析方法、装置、系统及程序
【技术领域】
本发明涉及对细胞进行解析的细胞解析方法、细胞解析装置、细胞解析系统、及细胞解析程序。
【背景技术】
在专利文献1中,公开了将进行过滤处理的显微镜图像适用于训练的机器学习模型,确定特定的类型的细胞的中心及边界,对确定的细胞进行计数的同时,输出该细胞的图像的方法。
【现有技术文献】
【专利文献】
【专利文献1】国际公开第2015/065697号
【发明的概要】
【发明要解决的课题】
在检查中,对多个解析项目进行解析多。但是,当解析项目的数增加时,为了减少判断错误,增加机器学习模型的训练次数,或增加向机器学习模型输入的参数的种类变得必要,训练变得需要长时间的同时,机器学习模型大型化。
本发明旨在提供使多个解析项目的解析变得容易的细胞解析方法、细胞解析装置、细胞解析系统、及细胞解析程序。
【用于解决课题的手段】
本发明的一实施方式涉及对细胞进行解析的细胞解析方法。上述细胞解析方法生成试样中所含的细胞的解析用数据(82、87、585),从多个人工智能算法(60、63、560)选择人工智能算法(60、63、560),所述人工智能算法接受生成的解析用数据(82、87、585)的输入,由选择的人工智能算法(60、63、560、563),基于解析用数据(82、87、585)生成显示细胞的性状的数据(84、88、582)。
本发明的一实施方式涉及对细胞进行解析的细胞解析装置(400A、200T)。细胞解析装置(400A、200T)具备控制部(40A、20T),所述控制部以如下方式构成:从多个人工智能算法(60、63、560)选择人工智能算法(60、63、560),所述人工智能算法接受试样中所含的细胞的解析用数据(82、87、585)的输入,由选择的人工智能算法(60、63、560、563),基于解析用数据(82、87、585)生成显示上述细胞的性状的数据(84、88、582)。
本发明的一实施方式涉及细胞解析系统(1000)。细胞解析系统(1000)具备:含细胞的试样流经的流动池(110),用于向流经上述流动池(110)的试样照射光的光源(120、121、122、123),拍摄照射上述光的上述试样中的细胞的摄像部(160)和控制部(40A,)。控制部(40A)以如下方式构成:使含细胞的试样流经流路(111),从多个人工智能算法(60、63)选择人工智能算法(60、63),所述人工智能算法接受从拍摄通过流路(111)内的细胞的解析对象图像(80、85)生成的解析用数据(82、87)的输入,由选择的人工智能算法(60、63),基于解析用数据(82、87、585)生成显示上述解析对象图像(80、85)中所含的上述细胞的性状的数据(84、88)。
在本发明的一实施方式中,细胞解析系统(5000)具备:含细胞的试样所流经的流路(4113a),从流经上述流路的试样中的细胞取得信号的信号取得部(610)和控制部(20T)。控制部(20T)以如下方式构成:使含细胞的试样流经流路(4113a),取得关于通过上述流路(4113a)内的各细胞的信号强度,从取得的上述信号强度生成上述解析用数据(585),从多个人工智能算法(560、563)选择人工智能算法(560、563),所述人工智能算法接受上述解析用数据(585)的输入,由选择的人工智能算法(560、563),基于解析用数据(585)生成显示上述细胞的性状的数据(582)。
本发明的一实施方式涉及细胞解析系统(1000)。细胞解析系统(1000)具备:具备设置涂布含细胞的试样的载玻片的载物台的显微镜700,拍摄由上述显微镜放大的上述试样中的细胞的摄像部(710d)和控制部(40A)。控制部(40A)从多个人工智能算法(60、63)选择人工智能算法(60、63),所述人工智能算法接受从将涂布在载玻片的试样中所含的细胞由显微镜(700)放大拍摄的解析对象图像(80、85)生成的解析用数据(82、87)的输入,由选择的人工智能算法(60、63),基于上述解析用数据(82、87)生成显示上述解析对象图像(80、85)中所含的上述细胞的性状的数据(84、88)。
本发明的一实施方式涉及对细胞进行解析的细胞解析程序。上述细胞解析程序使计算机执行包括下列步骤的处理:从多个人工智能算法(60、63、560)选择人工智能算法(60、63、560),所述人工智能算法接受试样中所含的细胞的解析用数据(82、87、585)的输入的步骤,和由选择的人工智能算法(60、63、560)基于解析用数据(82、87、585)生成显示上述细胞的性状的数据(84、88、582)的步骤。
【发明的效果】
根据本发明,在细胞解析中,使多个解析项目的解析变得容易。
【附图的简单的说明】
【图1】显示本发明的概要。
【图2】显示训练用于对染色体异常进行解析的第1人工智能算法50的训练数据的生成方法。(A)显示阳性训练数据的生成方法。(B)显示阴性训练数据的生成方法。
【图3】显示训练用于对染色体异常进行解析的第1人工智能算法50的训练数据的生成方法。
【图4】显示为了对染色体异常进行解析而解析数据的生成方法和由训练的第1人工智能算法60的细胞的解析方法。
【图5】显示利用成像流式细胞仪的PML-RARA嵌合体基因阳性细胞的染色图案。(A)之左显示通道2的图像,右显示通道2的图像。(B)是与(A)不同的细胞,左侧显示通道2的图像,右侧显示通道2的图像。
【图6】显示荧光标记的图案例。
【图7】显示荧光标记的图案例。
【图8】显示荧光标记的图案例。
【图9】显示训练用于对末梢循环肿瘤细胞进行解析的第2人工智能算法53的训练数据的生成方法。
【图10】显示训练用于对末梢循环肿瘤细胞进行解析的第2人工智能算法53的训练数据的生成方法。(A)显示阳性训练数据的生成方法。(B)显示阴性训练数据的生成方法。
【图11】显示训练用于对末梢循环肿瘤细胞进行解析的第2人工智能算法53的训练数据的生成方法。
【图12】显示为了对末梢循环肿瘤细胞进行解析而解析数据的生成方法和由训练的第2人工智能算法63的细胞的解析方法。
【图13】显示细胞解析系统1000的硬件构成。
【图14】显示训练装置200A的硬件构成。
【图15】显示训练装置200A的功能块。
【图16】显示第1人工智能算法的训练处理的流程图。
【图17】显示细胞摄像装置100A和细胞解析装置400A的硬件构成。
【图18】显示细胞解析装置400A的功能块。
【图19】显示细胞解析处理的流程图。
【图20】显示收纳第1实施方式中的人工智能算法的算法数据库的例。
【图21】显示细胞摄像装置是显微镜时的硬件构成。
【图22】显示显微镜的光学系的结构。
【图23】显示训练数据的生成方法的例。
【图24】显示标签值的例。
【图25】显示解析用数据的生成方法的例。
【图26】显示细胞解析系统5000的外观的例。
【图27】显示测定单元600的功能构成例。
【图28】显示测定单元600的有核细胞检测部611的光学系的概略的例。
【图29】显示测定单元600的试样调制部640的概略的例。
【图30】显示训练装置的硬件的构成例。
【图31】显示细胞解析装置的硬件的构成例。
【图32】显示训练装置的功能构成例。
【图33】显示细胞解析装置的功能构成例。
【图34】显示第3及第4人工智能算法的训练处理的流程图。
【图35】显示细胞解析处理的流程图。
【图36】显示细胞解析处理的流程图。
【图37】显示解析模式接受画面的例。
【具体实施方式】
【I.发明的实施方式的概要】
使用图1,对本发明的实施方式的概要进行说明。
本发明的实施方式涉及对细胞进行解析的细胞解析方法。如图1所示,细胞解析方法的特征在于,生成试样中所含的细胞的解析用数据82、87、或者585,对应于检查项目而从多个人工智能算法405(a)、405(b)、T205(a)及T205(b)选择人工智能算法,所述人工智能算法接受生成的上述解析用数据的输入。选择的人工智能算法从输入的解析用数据生成显示解析对象的细胞的性状的数据。
如图1所示,在对细胞进行解析时,可使用流式细胞仪或显微镜取得基于自细胞的图像或细胞的信号强度的波形数据。从细胞收集何种数据对应于染色体异常检查、末梢循环肿瘤细胞检查、末梢血检查、尿检查等的检查项目或解析项目而预先确定。从而,在本发明中,对应于检查项目或解析项目,选择适宜于各解析的人工智能算法。
【II.第1实施方式】
第1实施方式涉及从细胞的图像使用人工智能算法对细胞进行解析的方法。
【1.细胞解析方法的概要】
本实施方式涉及使用人工智能算法对细胞进行解析的细胞解析方法。在细胞解析方法中,拍摄成为解析对象的细胞的解析对象图像使含细胞的试样流经流路,拍摄通过上述流路内的细胞而取得。用于向人工智能算法输入的解析用数据从取得的上述解析对象图像生成。当向人工智能算法输入解析用数据时,由人工智能算法生成显示解析对象图像中所含的细胞的性状的数据。解析对象图像优选为逐个拍摄通过流路内的细胞的。
在本实施方式中,试样可举由从受试者采集的受试体调制的试样。受试体可含例如,末梢血、静脉血、动脉血等的血液受试体、尿受试体、血液及尿以外的体液受试体。作为血液及尿以外的体液,可含骨髓、腹水、胸水、髓液等。有时将血液及尿以外的体液简称为“体液”。血液优选为末梢血。例如,血液可举使用乙二胺四醋酸盐钠盐或钾盐)、肝素钠等的抗凝固剂而采血的末梢血。
自受试体的试样的调制可根据公知的方法而进行。例如,检查者对于从受试者采集的血液受试体,使用Ficoll等的细胞分离用介质而进行离心分离等而回收有核细胞。至于有核细胞的回收,也可通过代替由离心分离的有核细胞的回收而使用溶血剂而使红细胞等溶血来留有核细胞。对回收的有核细胞的目标部位由后述的选自荧光原位杂交(FISH)法、免疫染色法、及细胞器染色法等的至少1个进行标记、优选荧光标记,以被标记的细胞的悬浮液作为试样,供于例如成像流式细胞仪,进行成为解析对象得的细胞的摄像。
在试样中,可含多个细胞。试样中所含的细胞数不特别限制,至少102个以上、优选103个以上、更优选为104个以上、再优选105个以上、再更优选106个以上。另外,多个细胞可含不同的种类的细胞。
在本实施方式中,也将成为解析对象得的细胞称为解析对象细胞。解析对象细胞可为从受试者采集的受试体中所含的细胞。优选,上述细胞可为有核细胞。在细胞中,可含正常细胞和异常细胞。
正常细胞是指对应于采集受试体的体的部位而原本应含在上述受试体中的细胞。异常细胞是指正常细胞以外的细胞。在异常细胞中,可含具有染色体异常的细胞、及/或肿瘤细胞。其中,上述肿瘤细胞优选为末梢循环肿瘤细胞。更优选,末梢循环肿瘤细胞不是指在通常的病态中在血液中存在肿瘤细胞的造血系肿瘤细胞,而是指以造血系细胞系统以外的细胞系列作为起源的肿瘤细胞在血液中循环。在本说明书中,也将在末梢循环的肿瘤细胞称为循环肿瘤细胞(circulating tumor cells,CTC)。
检测染色体异常时的目标部位是解析对象细胞的核。作为染色体异常,例如可举染色体的转座、缺失、逆位、重复等。作为具有这样的染色体异常的细胞,可举例如,在罹患选自骨髓发育异常综合征、急性成髓细胞性白血病、急性成髓细胞性白血病、急性前髓细胞性白血病、急性骨髓单核细胞性白血病、急性单核细胞性白血病、赤白血病、急性成巨核细胞性白血病、急性骨髓性白血病、急性淋巴细胞性白血病、成淋巴细胞性白血病、慢性骨髓性白血病、或者慢性淋巴细胞性白血病等的白血病、霍奇金淋巴瘤、非霍奇金淋巴瘤等的恶性淋巴瘤、及多发性骨髓瘤的疾病时出现的细胞。
染色体异常可由FISH法等的公知的方法检测。一般而言,用于检测染色体异常的检查项目对应于要检测的异常细胞的种类设定。对应于对于受试体进行何种检查项目,成为解析对象的基因、或者基因座作为解析项目设定。在由FISH法的染色体异常的检测中,通过使存在于成为解析对象的细胞的核内的基因、或者对于基因座特异性地结合的探针杂交,可检测染色体的位置的异常、或者数的异常。探针被标记物质标记。标记物质优选为荧光染料。标记物质对应于探针不同,在标记物质是荧光染料时,将具有不同的荧光的波长区域的荧光染料组合,能对于1个细胞检测多个基因、或者基因座。
异常细胞是在罹患指定的疾病时出现的细胞,可含例如,癌细胞、白血病细胞等的肿瘤细胞等。在造血系器官的情况中,指定的疾病可为选自骨髓发育异常综合征、急性成髓细胞性白血病、急性成髓细胞性白血病、急性前髓细胞性白血病、急性骨髓单核细胞性白血病、急性单核细胞性白血病、赤白血病、急性成巨核细胞性白血病、急性骨髓性白血病、急性淋巴细胞性白血病、成淋巴细胞性白血病、慢性骨髓性白血病、或者慢性淋巴细胞性白血病等的白血病、霍奇金淋巴瘤、非霍奇金淋巴瘤等的恶性淋巴瘤、及多发性骨髓瘤的疾病。另外,在造血系器官以外的器官的情况中,指定的疾病可为从上咽头、食道、胃、十二指肠、空肠、回肠、盲肠、阑尾、升结肠、横结肠、下行结肠、S状结肠、直肠或肛门部等发生的消化管系恶性肿瘤;肝脏癌;胆囊癌胆管癌;胰腺癌;胰腺管癌;从膀胱、尿管或肾脏发生的泌尿器系恶性肿瘤;从卵巢、卵管及子宫等发生的女性生殖器系恶性肿瘤;乳腺癌;前列腺癌;皮肤癌;下丘脑、垂体、甲状腺、副甲状腺、肾上腺、胰腺等的内分泌系恶性肿瘤;中枢神经系恶性肿瘤;从骨软部组织发生的恶性肿瘤等的实体瘤。
异常细胞的检测可使用选自明场图像、对于各种抗原的免疫染色图像、及对细胞器特异性地进行染色的细胞器染色图像的至少1个而进行。
明场图像可通过向细胞照射光,拍摄自细胞的透射光或反射光来取得。优选,明场图像优选为使用透射光拍摄细胞的位相差的图像。
免疫染色图像可通过拍摄通过使用能与存在于选自核、细胞质、及细胞表面的至少1个细胞内或细胞上的目标部位的抗原结合的抗体而对标记物质进行标记而实施免疫染色的细胞来取得。标记物质优选与FISH法同样地使用荧光染料。标记物质对应于抗原不同,在标记物质是荧光染料时,将具有不同的荧光的波长区域的荧光染料组合,对于1个细胞能检测多个抗原。
细胞器染色图像可通过拍摄使用能与存在于选自核、细胞质、及细胞膜的至少1个细胞内或细胞膜的目标部位的蛋白质、糖链、脂质或核酸等选择性地结合的染料而实施染色的细胞来取得。例如,作为对核具有特异性的染色染料,可举Hoechst(商标)33342、Hoechst(商标)33258、4’,6-diamidino-2-phenylindole(DAPI)、Propidium Iodide(PI)、ReadyProbes(商标)核染色试剂等的DNA结合染料、CellLight(商标)试剂等的组蛋白质结合试剂等。作为对核小体、及RNA具有特异性的染色试剂,可举与RNA特异性地结合的SYTO(注册商标)RNASelect(商标)等。作为对细胞骨架具有特异性的染色试剂,可举例如荧光标记鬼笔环肽等。作为对作为此外的细胞器的溶酶体、小泡体、高尔基体、线粒体等进行染色的染料,例如可使用Abcam公司(Abcam plc,Cambridge,UK)的CytoPainter系列。这些染色染料、或者染色试剂是荧光染料,或是含荧光染料的试剂,可对应于在对于细胞器或1个细胞一同实施的别的染色中使用的荧光染料的荧光的波长区域,选择不同的荧光的波长区域。
在检测异常细胞时,对应于检测何种异常细胞而设定检查项目。在检查项目中,可含对于检测异常细胞必要的解析项目。解析项目可与上述的明场图像、各抗原、各细胞器对应而设定。具有各自不同的荧光的波长区域的荧光染料对应于除明场之外的各解析项目,在1个细胞中能检测不同的解析项目。
用于向人工智能算法输入的解析用数据由后述的方法取得。由人工智能算法生成的,显示解析对象图像中所含的细胞的性状的数据是显示例如,解析对象细胞是正常还是异常的数据。更具体而言,显示解析对象图像中所含的细胞的性状的数据是显示解析对象细胞是具有染色体异常的细胞与否,或者是末梢循环肿瘤细胞与否的数据。
在本说明书中,记载的便利上,有时将“解析对象图像”称为“解析图像”,将“解析用数据”称为“解析数据”,将“训练用图像”称为“训练图像”,将“训练用数据”称为“训练数据”。另外,“荧光图像”是指拍摄荧光标记的训练图像或拍摄荧光标记的解析图像。
【2.使用第1人工智能算法的细胞解析方法】
对于第1人工智能算法50、及第2人工智能算法53的训练方法和使用训练的第1人工智能算法60及训练的第2人工智能算法63的细胞的解析方法而使用图2至图12进行说明。第1及第2人工智能算法60、63可为具有神经网络结构的深层学习算法。上述神经网络结构可从全连接的深度神经网络(FC-DNN)、折叠神经网络(CNN)、自身回归神经网络(RNN)、及这些的组合选择。优选为折叠神经网络。
人工智能算法可使用例如,从Python公司提供的。
【2-1.用于检测染色体异常的人工智能算法】
本实施方式涉及用于检测染色体异常的第1人工智能算法50的训练方法和用于检测染色体异常的使用训练的第1人工智能算法60的细胞的解析方法。其中“训练”或“训练”这样的用语有时置换为“生成”或“生成”这样的用语使用。
(1)训练数据的生成
使用图2及图3,对于用于检测染色体异常的第1人工智能算法50的训练方法进行说明。在图2显示使用座位于15号染色体长臂(15q24.1)的作为转录控制因子的PML基因和座位于17号染色体长臂(17q21.2)的视黄酸受体α(RARA)基因相互转座而形成的PML-RARA嵌合体基因的FISH染色的图像的例。
如图2所示,从拍摄染色体异常是阳性的细胞(以下,“称为第1阳性对照细胞”)的阳性训练图像70P和拍摄染色体异常是阴性的细胞(以下,称为“第1阴性对照细胞”)的阴性训练图像70N各自生成标签附带阳性整合训练数据73P和标签附带阴性整合训练数据73N。有时将阳性训练图像70P和阴性训练图像70N并称为训练图像70。另外,有时将标签附带阳性整合训练数据73P和标签附带阴性整合训练数据73N并称为训练数据73。
其中,在例示检测PML-RARA嵌合体基因时。显示使检测PML基因座的探针结合发绿色的波长区域的荧光的第1荧光染料,使检测RARA基因座的探针结合与第1荧光染料不同的发红色的波长区域的荧光的第2荧光染料的例。可使用结合第1荧光染料的探针和结合第2荧光染料的探针,由FISH法对第1阳性对照细胞和第1阴性对照细胞的各自的核实施第1荧光染料和第2荧光染料的标记。有时将目标部位的由第1荧光染料的标记称为第1荧光标记,将目标部位的由第2荧光染料的标记称为第2荧光标记。
可将含具有第1荧光标记和第2荧光标记的细胞的试样供于成像流式细胞仪等的细胞摄像装置中的解析,拍摄细胞的图像。细胞的摄像图像可对于相同的细胞的相同的视野而含多个图像。第1荧光标记和第2荧光标记由于各自的荧光染料所具有的荧光的波长区域不同,用于透过从第1荧光染料发出的光的第1滤镜和用于透过从第2荧光染料发出的光的第2滤镜不同。因此,透过第1滤镜的光和透过第2滤镜的光经对应于各自的第1通道第2通道而被后述的摄像部160收取,作为相同细胞的相同视野的别图像拍摄。即,在摄像部160中,对于相同细胞的相同视野而取得多个对应于标记细胞的标记物质的数的图像。
从而,在图2的例中,如图2(A)所示,在阳性训练图像70P中,可含对于第1阳性对照细胞,经第1通道拍摄绿色的第1荧光标记的第1阳性训练图像70PA和经第2通道拍摄红色的第2荧光标记的第2阳性训练图像70PB。第1阳性训练图像70PA和第2阳性训练图像70PB作为相同细胞的相同视野的图像对应。第1阳性训练图像70PA和第2阳性训练图像70PB,接下来,将图像内的各像素(象素)中的拍摄的光的亮度变换为以数值表示的第1阳性数值训练数据71PA和第2阳性数值训练数据71PB。
使用第1阳性训练图像70PA,对于第1阳性数值训练数据71PA的生成方法进行说明。将摄像部160中拍摄的各图像修整为,例如,纵100象素×横100象素的像素数,生成训练图像70。此时,对于1个细胞而以从各通道取得的图像成为相同的视野的方式修整。第1阳性训练图像70PA作为例如16位的灰度图像表示。从而,在各像素中其像素的亮度可以1~65,536的65,536色阶的亮度的数值表示。如图2(A)所示,显示第1阳性训练图像70PA的各像素中的亮度的色阶的值是第1阳性数值训练数据71PA,以对应于各像素的数字的行列表示。
与第1阳性数值训练数据71PA同样地,可从第2阳性训练图像70PB生成将图像内的各像素(象素)中的拍摄的光的亮度用数值表示的第2阳性数值训练数据71PB。
接下来,每像素整合第1阳性数值训练数据71PA和第2阳性数值训练数据71PB,生成阳性整合训练数据72P。如图2(A)所示,阳性整合训练数据72P成为第1阳性数值训练数据71PA的各像素中的数值与第2阳性数值训练数据71PB的对应的各像素中的值并排显示的行列数据。
接下来,在阳性整合训练数据72P附显示此阳性整合训练数据72P来源于第1阳性对照细胞的标签值74P,生成标签附带阳性整合训练数据73P。作为表示是第1阳性对照细胞的标签,在图2(A)附“2”。
从阴性训练图像70N也与生成标签附带阳性整合训练数据73P时同样地生成标签附带阴性整合训练数据73N。
如图2(B)所示,阴性训练图像70N含对于第1阴性对照细胞,经第1通道拍摄绿色的第1荧光标记的第1阴性训练图像70NA和经第2通道拍摄红色的第2荧光标记的第2阴性训练图像70NB。摄像及修整、在各像素中的光的亮度的数值化与从第1阳性训练图像70PA取得第1阳性数值训练数据71PA时同样。可由与第1阳性数值训练数据71PA相同的方法从第1阴性训练图像70NA生成将图像内的各像素(象素)中的拍摄的光的亮度用数值表示的第1阴性数值训练数据71NA。
同样地,可从第2阴性训练图像70NB生成将图像内的各像素(象素)中的拍摄的光的亮度用数值表示的第2阴性数值训练数据71NB。
如图2(B)所示,根据生成阳性整合训练数据72P的方法而针对每个像素整合第1阴性数值训练数据71NA和第2阴性数值训练数据71NB,生成阴性整合训练数据72N。如图2(B)所示,阴性整合训练数据72N成为第1阴性数值训练数据71NA的各像素中的数值与第2阴性数值训练数据71NB的对应的各像素中的值并排显示的行列数据。
接下来,在阴性整合训练数据72N附显示此阴性整合训练数据72N来源于第1阴性对照细胞的标签值74N,生成标签附带阴性整合训练数据73N。作为表示是第1阴性对照细胞的标签,在图2(B)附“1”。
在图3显示输入第1人工智能算法50中生成的标签附带阳性整合训练数据73P和标签附带阴性整合训练数据73N的方法。在具有神经网络结构的第1人工智能算法50中的输入层50a的节点数对应于训练图像70的象素数(在上述例中100×100=10,000)和对于1个细胞的通道数(在上述例中,绿色通道和红色通道的2通道)的积。向神经网络的输入层50a输入相当于标签附带阳性整合训练数据73P的阳性整合训练数据72P的数据。向神经网络的输出层50b输入对应于输入到输入层50a的数据的标签值74P。另外,向神经网络的输入层50a输入对应于标签附带阴性整合训练数据73N的阴性整合训练数据72N的数据。向神经网络的输出层50b输入对应于输入到输入层50a的数据的标签值74N。由这些的输入计算神经网络的中间层50c中的各权重,训练第1人工智能算法50,生成训练的第1人工智能算法60。
(2)解析用数据的生成和细胞解析
使用图4,对于从解析图像80生成整合解析数据72的方法和使用训练的第1人工智能算法60的细胞解析方法进行说明。解析图像80可与拍摄训练图像70的方法同样地拍摄。
如图4所示,解析图像80含对于解析对象细胞,经第1通道拍摄绿色的第1荧光标记的第1解析图像80A和经第2通道拍摄红色的第2荧光标记的第2解析图像80B。摄像及修整、各像素中的光的亮度的数值化与从第1阳性训练图像70PA取得第1阳性数值训练数据71PA时同样。可由与第1阳性数值训练数据71PA相同的方法从第1解析图像80A生成将图像内的各像素(象素)中的拍摄的光的亮度用数值表示的第1数值解析数据81A。
同样地,可从第2解析图像80B生成将图像内的各像素(象素)中的拍摄的光的亮度用数值表示的第2数值解析数据81B。
如图4所示,根据生成阳性整合训练数据72P的方法而针对每个像素整合第1数值解析数据81A和第2数值解析数据81B而生成整合解析数据82。如图4所示,整合解析数据82成为第1数值解析数据81A的各像素中的数值与第2数值解析数据81B的对应的各像素中的值并排显示的行列数据。
如图4所示,向训练的第1人工智能算法60内的神经网络的输入层60a输入生成的整合解析数据82。输入的整合解析数据82中所含的值经神经网络的中间层60c而从神经网络的输出层60b输出显示解析对象细胞是否具有染色体异常的标签值84。在图4中所示的例中,在解析对象细胞被判断为不具有染色体异常时,作为标签值,输出“1”,在判断为具有染色体异常时,作为标签值,输出“2”。也可代替标签值而输出“无”、“有”或“正常”、“异常”等的标签。
(3)此外的构成
i.在本实施方式中,在有时在成像流式细胞仪中,使用拍摄细胞时用于放大景深的Extended Depth of Field(EDF)滤镜,对摄像后的图像的焦点深度进行复原处理而向检查者提供细胞图像。但是,在本实施方式中使用的训练图像70及解析图像80优选为对于使用EDF滤镜拍摄的图像,未进行复原处理的图像。未进行复原处理的图像的例示于图5。图5显示PML-RARA嵌合体基因是阳性的细胞。(A)和(B)是不同的细胞的图像。图5(A)及图5(B)的左侧的图像显示拍摄第1荧光标记的图像。图5(A)及图5(B)的右侧的图像是与左侧的细胞相同细胞,在与左侧的图像相同视野显示拍摄第2荧光标记的图像。
ii.从训练图像70及解析图像80在摄像时,可排除焦点不合的图像。图像的焦点相合与否在对于各像素而求出与邻接的像素的亮度的差分之时,在图像整体中不含差分的梯度变极端的部分时,可判断为该图像焦点不合。
iii.在本实施方式中使用的训练图像70及解析图像80例示性地将像素数以成为纵100象素×横100象素的方式修整,但图像的大小不限于此。像素数可在纵50~500象素、横50~500象素之间适宜设定。图像的纵方向的像素数和横方向的像素数无必然相同的必要。但是,用于训练第1人工智能算法50的训练图像70和用于生成向使用上述训练图像70训练的第1人工智能算法60输入的整合解析数据82的解析图像80优选为相同的像素数,纵方向和横方向的像素数也相同。
iv.在本实施方式中,训练图像70及解析图像80使用16位的灰度图像。但是,亮度的色阶除了16位之外、也可为8位、32位等。另外,在本实施方式中,对于各数值训练数据71PA、71PB、71NA、71NB而直接使用以16位(65,536色阶)表示的亮度的数值,但也可进行将这些数值以一定幅的色阶综合的低维化处理,以低维化后的数值作为各数值训练数据71PA、71PB、71NA、71NB使用。此时,优选对于训练图像70及解析图像80而进行相同的处理。
v.在本实施方式中可检测的染色体异常不限定于PML-RARA嵌合体基因。例如,可检测BCR/ABL融合基因、AML1/ETO(MTG8)融合基因(t(8;(21))、PML/RARα融合基因(t(15;(17))、AML1(21q22)转座、MLL(11q23)转座、TEL(12p13)转座、TEL/AML1融合基因(t(12;(21))、IgH(14q32)转座、CCND1(BCL1)/IgH融合基因(t(11;(14))、BCL2(18q21)转座、IgH/MAF融合基因(t(14;(16))、IgH/BCL2融合基因(t(14;(18))、c-myc/IgH融合基因(t(8;(14))、FGFR3/IgH融合基因(t(4;(14))、BCL6(3q27)转座、c-myc(8q24)转座、MALT1(18q21)转座、API2/MALT1融合基因(t(11;(18)转座)、TCF3/PB×1融合基因(t(1;(19)转座)、EWSR1(22q12)转座、PDGFRβ(5q32)转座、IGH-CCND1基因[(IGH-BCL1)(t(11;(14)转座)]、IGH-FGFR3基因(t(4;(14)转座)、IgH-MAF基因(t(14;(16)转座)等。
另外,在转座中可含各种各样的变化。在图6及图7显示BCR/ABL融合基因的典型阳性图案(主图案)的荧光标记的例。在重叠第1荧光标记图像及第2荧光标记图像的状态下,在使用ES探针时,阴性例的第1荧光标记的数是2个,第2荧光标记的数是2个,融合荧光标记图像的数是0个。使用ES探针的典型阳性图案的第1荧光标记的数是1个,第2荧光标记的数是2个,融合荧光标记的数是1个。在使用DF探针时,在重叠第1荧光标记图像及第2荧光标记图像的状态下,阴性图案的第1荧光标记的数是2个,第2荧光标记的数是2个,融合荧光标记的数是0个。使用DF探针的典型阳性图案例的第1荧光标记的数是1个,第2荧光标记的数是1个,融合荧光标记的数是2个。
图7是BCR/ABL融合基因的非典型阳性图案的荧光标记的例。非典型阳性图案的1例是次要BCR/ABL图案,由于BCR基因的切断点处于BCR基因的比较上游,用ES探针也检测到3个第1荧光标记。非典型阳性图案的其他例是以9号染色体的ABL基因作为目标的探针的结合区域的一部分缺失的例,在依赖于其而使用DF探针时原本理应检测到2个融合荧光标记仅检测到1个。另外,非典型阳性图案的其他例是以9号染色体的ABL基因作为目标的探针的结合区域的一部分和以22号染色体的BCR基因作为目标的探针的结合区域的一部分一同缺失的例。在依赖于其而使用DF探针时原本理应检测到2个融合荧光标记仅检测到1个。
在图8显示检测与ALK基因座关联的染色体异常时的阴性图案及阳性图案的参照图案的例。在阴性图案中,由于ALK基因不被切断,存在2个融合荧光标记。一方面,在阳性图案中,由于ALK基因被切断,融合荧光标记成为仅1个(仅等位基因的一方被切断时),或变得无法确认到融合荧光标记(等位基因的两方被切断时)。此阴性图案及阳性图案除了ALK基因之外、ROS1基因、RET基因也相同。
再者,在图8显示缺失第5号染色体长臂(5q)的染色体异常的参照图案的例。例如,以第1荧光标记探针与第5号染色体长臂结合,第2荧光标记探针与第5号染色体的着丝粒结合的方式设计。在阴性图案中,由于第5号染色体的着丝粒的数和第5号染色体长臂的数相同,第1荧光标记和第2荧光标记反映相同染色体的数而存在各2个。在阳性图案中,在第5号染色体的一方或两方发生长臂的缺失,第1荧光标记的数成为仅1个或0个。此阴性图案和阳性图案的其他染色体的短臂或长臂的缺失也相同。作为其他染色体的长臂缺失的例,可举第7号染色体、及第20号染色体的长臂缺失。另外,此外,作为显示同样的阳性图案及阴性图案的例,可举7q31(缺失)、p16(9p21缺失解析)、IRF-1(5q31)缺失、D20S108(20q12)缺失、D13S319(13q14)缺失、4q12缺失、ATM(11q22.3)缺失、p53(17p13.1)缺失等。
再者另外,在图8显示第8号染色体三体性的例。第1荧光标记探针与例如第8号染色体的着丝粒结合。阳性图案的第1荧光标记成为3个。阴性图案的第1荧光标记成为2个。这样的荧光标记图案的第12号染色体三体性也同样。再者,在第7号染色体单体性中,使用与例如第7号染色体的着丝粒结合的第1荧光标记探针时,阳性图案的第1荧光标记成为1个。阴性图案的第1荧光标记成为2个。
【2-2.用于检测末梢循环肿瘤细胞的人工智能算法】
本实施方式涉及用于检测末梢循环肿瘤细胞的第2人工智能算法53的训练方法和用于检测末梢循环肿瘤细胞的使用训练的第2人工智能算法63的细胞的解析方法。其中“训练”或“训练”这样的用语有时置换为“生成”或“生成”这样的用语使用。
(1)训练数据的生成
使用图9至图11,对于用于检测末梢循环肿瘤细胞的第2人工智能算法53的训练方法进行说明。
图9显示对于由摄像部160拍摄的图像的预处理方法。图9(A)显示预处理前的摄像图像。预处理是用于使训练图像75及解析图像85成为相同的大小的修整处理,可对于作为训练图像75或解析图像85使用的图像全部而进行。在图9(A)中(a)和(b)是相同的细胞的摄像,但拍摄时的通道不同。在图9(A)中,(c)是拍摄与(a)不同的细胞的图像。(c)和(d)是相同的细胞的摄像,但拍摄时的通道不同。如图9(A)的(a)和(c)所示,拍摄细胞时的图像的尺寸有时不同。另外,细胞本身的大小也对应于细胞而不同。从而,优选以反映细胞的大小,并且成为相同的图像尺寸的方式修整取得的图像。在图9中所示的例中,以图像内的细胞的核的重心作为中心,从上述中心在纵方向及横方向作为修整位置设定各16象素离的位置。由修整切出的图像示于图9(B)。图9(B)(a)是从图9(A)(a)切出的图像,图9(B)(b)是从图9(A)(b)切出的图像,图9(B)(c)是从图9(A)(c)切出的图像,图9(B)(d)是从图9(A)(d)切出的图像。图9(B)的各图像成为纵32象素×横32象素。核的重心可使用例如,附属于成像流式细胞仪(ImageStream MarkII,Luminex)的解析软件(IDEAS)来确定。
在图10及图11显示第2人工智能算法53的训练方法。
如图10所示,从拍摄末梢循环肿瘤细胞(以下,称为“第2阳性对照细胞”)的阳性训练图像75P和拍摄末梢循环肿瘤以外的细胞(以下,称为“第2阴性对照细胞”)的阴性训练图像75N各自生成阳性整合训练数据78P和阴性整合训练数据78N。有时将阳性训练图像75P和阴性训练图像75N并称为训练图像75。另外,有时将阳性整合训练数据78P和阴性整合训练数据78N并称为训练数据78。
在检测末梢循环肿瘤细胞时,在由摄像部160拍摄的图像中,可含明场图像和荧光图像。明场图像可拍摄细胞的位相差。此摄像可由例如第1通道拍摄。荧光图像是拍摄由免疫染色、或者细胞器染色标记在细胞内的目标部位的荧光标记的。荧光标记每种抗原及/或针对每个细胞器由具有不同的荧光的波长区域的荧光染料进行。
例如,在使第1抗原结合发第1绿色的波长区域的荧光的第1荧光染料时,通过使与第1抗原直接或间接结合的抗体结合第1荧光染料,可对第1抗原标记第1荧光染料。
在使与第2抗原结合的抗体结合与第1荧光染料不同的发红色的波长区域的荧光的第2荧光染料时,通过使与第2抗原直接或间接结合的抗体结合第2荧光染料,可对第2抗原标记第2荧光染料。
在使与第3抗原结合的抗体结合与第1荧光染料及第2荧光染料不同的发黄色的波长区域的荧光的第3荧光染料时,通过使与第3抗原直接或间接结合的抗体结合第3荧光染料,可对第3抗原标记第3荧光染料。
这样,通过每抗原及/或每细胞器标记具有不同的荧光的波长区域的荧光染料,可第1荧光标记至第X番目的至荧光标记,标记具有不同的荧光的波长区域的荧光染料。
可将含具有第1荧光标记至第X的荧光标记的细胞的试样供于成像流式细胞仪等的细胞摄像装置中的摄像,拍摄细胞的图像。细胞的摄像图像可对于相同的细胞的相同的视野而含多个图像。第1荧光标记至第X的荧光标记由于各自的荧光染料所具有的荧光的波长区域不同,用于透过从各荧光染料发出的光的滤镜针对每荧光染料而不同。另外,明场图像有使用与透过来自荧光染料的光的滤镜不同的滤镜的必要。因此,透过各滤镜的光经对应于各自的各通道而被后述的摄像部160收取,作为相同细胞的相同视野的别图像拍摄。即,在摄像部160中,对于相同细胞的相同视野而取得对应于向标记细胞的标记物质的数加明场图像的数的数的多个图像。
在图10中所示的例中,在图10(A)及(B)中,第1通道(Ch1)显示明场摄像图像。在图10(A)及(B)中,第2通道(Ch2)、第3通道(Ch3)、…第X的通道(ChX)是指拍摄不同的多个标记物质的各通道。
在图10的例中,如图10(A)所示,在阳性训练图像75P中,可含对于第2阳性对照细胞,经第1通道拍摄的第1阳性训练图像75P1,经第2通道拍摄第1荧光标记的第2阳性训练图像75P2,经第3通道拍摄第2荧光标记的第3阳性训练图像75P3,及至经第X的通道拍摄各荧光标记的第X的阳性训练图像75Px。第1阳性训练图像75P1至第X的至阳性训练图像75Px作为相同细胞的相同视野的图像对应。第1阳性训练图像75P1至第X的阳性训练图像75P,接下来,将图像内的各像素(象素)中的拍摄的光的亮度变换为以数值表示的第1阳性数值训练数据76P1至第X的阳性数值训练数据76Px。
使用第1阳性训练图像75P1,对于第1阳性数值训练数据76P1的生成方法进行说明。在摄像部160中拍摄的各图像由上述的预处理,例如,修整为纵32象素×横32象素的像素数而成为训练图像75。第1阳性训练图像75P1作为例如16位的灰度图像表示。从而,在各像素中其像素的亮度可以1~65,536的65,536色阶的亮度的数值表示。如图10(A)所示,显示第1阳性训练图像75P1的各像素中的亮度的色阶的值是第1阳性数值训练数据76P1,以对应于各像素的数字的行列表示。
与第1阳性数值训练数据76P1同样地,可从第2阳性训练图像75P2至第X的阳性训练图像75Px生成将图像内的各像素(象素)中的拍摄的光的亮度用数值表示的第2阳性数值训练数据76P2至第X的阳性数值训练数据76Px。
接下来,每像素整合第1阳性数值训练数据76P1至第X的阳性数值训练数据76Px,生成阳性整合训练数据77P。如图10(A)所示,阳性整合训练数据77P成为第1阳性数值训练数据76PA的各像素中的数值与第2阳性数值训练数据76P2至第X的阳性数值训练数据76Px的对应的各像素中的值并排显示的行列数据。
接下来,在阳性整合训练数据77P附显示此阳性整合训练数据77P来源于第2阳性对照细胞的标签值79P,生成标签附带阳性整合训练数据78P。作为表示是第2阳性对照细胞的标签,在图10(A)附“2”。
从阴性训练图像75N也与生成标签附带阳性整合训练数据78P时同样地生成标签附带阴性整合训练数据78N。
如图10(B)所示,阴性训练图像75N含对于第2阴性对照细胞,与阳性训练图像75P同样地,经第1通道至第X的图像取得的第1阴性训练图像75N1至第X的阴性训练图像75Nx。在各像素中的光的亮度的数值化与从第1阳性训练图像75PA至第X的阳性训练图像75Px取得第1阳性数值训练数据76P1至第X的阳性数值训练数据76Px时同样。可由与第1阳性数值训练数据76P1相同的方法从第1阴性训练图像75N1生成将图像内的各像素(象素)中的拍摄的光的亮度用数值表示的第1阴性数值训练数据76N1。
同样地,可从第2阴性训练图像75N2至第X的第2阴性训练图像75Nx生成将图像内的各像素(象素)中的拍摄的光的亮度用数值表示的第2阴性数值训练数据76N2至第X的阴性数值训练数据76Nx。
如图10(B)所示,根据生成阳性整合训练数据77P的方法而针对每个像素整合第1阴性数值训练数据76N1至第X的阴性数值训练数据76Nx,生成阴性整合训练数据77N。如图10(B)所示,阴性整合训练数据77N成为第1阴性数值训练数据76N1的各像素中的数值与第2阴性数值训练数据76N2至第X的阴性数值训练数据76Nx的对应的各像素中的值并排显示的行列数据。
接下来,在阴性整合训练数据77N附显示此阴性整合训练数据77N来源于第2阴性对照细胞的标签值79N,生成标签附带阴性整合训练数据78N。作为表示是第2阴性对照细胞的标签,在图10(B)附“1”。
在图11显示输入第2人工智能算法53中生成的标签附带阳性整合训练数据78P和标签附带阴性整合训练数据78N的方法。在具有神经网络结构的第1人工智能算法53中的输入层53a的节点数对应于训练图像75的象素数(在上述例中32×32=1024)和对于1个细胞的通道数(在上述例中,1~X的X通道)的积。向神经网络的输入层53a输入相当于标签附带阳性整合训练数据78P的阳性整合训练数据77P的数据。向神经网络的输出层53b输入对应于输入到输入层53a的数据的标签值79P。另外,向神经网络的输入层53a输入对应于标签附带阴性整合训练数据78N的阴性整合训练数据77N的数据。向神经网络的输出层53b输入对应于输入到输入层53a的数据的标签值79N。由这些的输入计算神经网络的中间层53c中的各权重,训练第2人工智能算法53,生成训练的第2人工智能算法63。
(2)解析用数据的生成
使用图12,对于从解析图像85生成整合解析数据72的方法和使用训练的第2人工智能算法63的细胞解析方法进行说明。解析图像85可与拍摄训练图像75的方法同样地拍摄而预处理。
如图12所示,解析图像85含对于解析对象细胞,经第1通道拍摄的作为明场图像的第1解析图像85T1和经第2通道至第X的通道拍摄第2至第X的荧光标记的第2解析图像85T2至第X的解析图像85Tx。摄像及预处理、各像素中的光的亮度的数值化与从第1阳性训练图像75P1取得第1阳性数值训练数据76P1时同样。可由与第1阳性数值训练数据76P1相同的方法从第1解析图像85T1生成将图像内的各像素(象素)中的拍摄的光的亮度用数值表示的第1数值解析数据86T1。
同样地,可从第2解析图像85T2至第X的解析图像85Tx生成将图像内的各像素(象素)中的拍摄的光的亮度用数值表示的第2数值解析数据86T2至第X的数值解析数据86Tx。
如图12所示,根据生成阳性整合训练数据77P的方法而针对每个像素整合第1数值解析数据86T1至第X的数值解析数据86Tx而生成整合解析数据87。如图12所示,整合解析数据87成为第1数值解析数据86T1的各像素中的数值与第2数值解析数据86T2至第X的数值解析数据86Tx的对应的各像素中的值并排显示的行列数据。
如图12所示,向训练的第2人工智能算法63内的神经网络的输入层63a输入生成的整合解析数据87。输入的整合解析数据87中所含的值经神经网络的中间层63c而从神经网络的输出层63b输出显示解析对象细胞是末梢循环肿瘤细胞与否的标签值89。在图12中所示的例中,在判断为解析对象细胞不是末梢循环肿瘤细胞时,作为标签值,输出“1”,在判断为是末梢循环肿瘤细胞时,作为标签值,输出“2”。也可代替标签值而输出“无”、“有”或“正常”、“异常”等的标签。
(3)此外的构成
i.在本实施方式中使用的训练图像75及解析图像85优选为对于使用EDF滤镜拍摄的图像,未进行复原处理的图像。
ii.从训练图像75及解析图像85在摄像时,可排除焦点不合的图像。
iii.在本实施方式中使用的训练图像75及解析图像85例示性地将像素数以成为纵32象素×横32象素的方式修整,但只要是图像的大小以细胞整体收在图像内,就不限定。像素数可在纵30~50象素、横30~50象素之间适宜设定。图像的纵方向的像素数和横方向的像素数无必然相同的必要。但是,用于训练第1人工智能算法53的训练图像75和用于生成向使用上述训练图像75训练的第1人工智能算法63输入的整合解析数据87的解析图像85优选为相同的像素数,纵方向和横方向的像素数也相同。
iv.在本实施方式中,训练图像70及解析图像80使用16位的灰度图像。但是,亮度的色阶除了16位之外、也可为8位、32位等。另外,在本实施方式中,对于各数值训练数据76P1至数值训练数据76Px、数值训练数据76N1至数值训练数据76Nx而直接使用以16位(65,536色阶)表示的亮度的数值,但也可进行将这些数值以一定幅的色阶综合的低维化处理,以低维化后的数值作为各数值训练数据76P1至数值训练数据76Px、数值训练数据76N1至数值训练数据76Nx使用。此时,优选对于训练图像70及解析图像80进行相同的处理。
【4.细胞解析系统】
以下,使用图13至图21,对于第1至第3实施方式涉及的细胞解析系统1000、2000、3000进行说明。
【4-1.细胞解析系统的第1实施方式】
在图13显示第1实施方式涉及的细胞解析系统1000的硬件的构成。细胞解析系统1000可具备用于训练人工智能算法的训练装置200A,细胞摄像装置100A和细胞解析装置400A。细胞摄像装置100A和细胞解析装置400A能通信地连接。另外,训练装置200A和细胞解析装置400A可用有线或无线的网络连接。
【4-1-1.训练装置】
(1)硬件的构成
使用图14,对训练装置200A的硬件的构成进行说明。训练装置200A具备控制部20A,输入部26和输出部27。另外,训练装置200A能与网络99连接。
控制部20A具备:进行后述的数据处理的CPU(Central Processing Unit)21,在数据处理的作业区域中使用的存储器22,记录后述的程序及处理数据的存储部23,在各部之间传送数据的总线24,进行与外部机器的数据的输入输出的接口(I/F)部25和GPU(Graphics Processing Unit)29。输入部26及输出部27经I/F部25与控制部20A连接。例示性地,输入部26是键盘或鼠标等的输入装置,输出部27是液晶显示等的显示装置。GPU29作为辅助CPU21进行的计算处理(例如,并列计算处理)的加速器发挥功能。在以下的说明中CPU21进行的处理是指还包括CPU21以GPU29作为加速器使用而进行的处理。其中,也可代替GPU29而搭载对于神经网络的计算优选的芯片。作为这样的芯片,可举例如,FPGA(Field-Programmable Gate Array)、ASIC(Application specific integrated circuit)、MyriadX(Intel)等。
另外,控制部20A为了进行在以下的图16中说明的各步骤的处理,将用于训练人工智能算法的训练程序及训练前的人工智能算法以例如执行形式预先记录在存储部23。执行形式是例如从编程语言由编译器变换而生成的形式。控制部20A使操作系统和记录在存储部23的训练程序协动而进行训练前的人工智能算法的训练处理。
在以下的说明中,只要是不特别说明,控制部20A进行的处理就是指基于收纳在存储部23或存储器22的程序及人工智能算法而由CPU21或CPU21及GPU29进行的处理。CPU21以存储器22作为作业区域而暂时存储必要的数据(处理途中的中间数据等),将计算结果等的长期保存的数据适宜记录在存储部23。
(2)训练装置的功能构成
在图15显示训练装置200A的功能构成。训练装置200A具备训练数据生成部201,训练数据输入部202,算法更新部203,训练数据数据库(DB)204和算法数据库(DB)205(a)、205(b)。图16中所示的步骤S11对应于训练数据生成部201。图16中所示的步骤S12中所示的步骤S112对应于训练数据输入部202。图16中所示的步骤S14对应于算法更新部203。
训练图像70PA、70PB、70NA、70NB、75P1~75Px、75N1~75Nx从细胞摄像装置100A由细胞解析装置400A预先取得,预先存储在训练装置200A的控制部20A的存储部23或存储器22。训练装置200A可为从细胞解析装置400A通过网络取得训练图像70PA、70PB、70NA、70NB、75P1~75Px、75N1~75Nx,也可为经媒体驱动器D98取得。训练数据数据库(DB)204收纳生成的训练数据73、78。训练前的人工智能算法预先收纳在算法数据库205(a)、205(b)。训练的第1人工智能算法60与用于检查染色体异常的检查项目及解析项目相对应而记录在算法数据库205(a)。训练的第2人工智能算法63与用于检查末梢循环肿瘤细胞的检查项目及解析项目相对应而记录在算法数据库205(b)。
(3)训练处理
训练装置200A的控制部20A进行图16中所示的训练处理。
首先,根据自使用者的处理开始的要求而控制部20A的CPU21取得存储在存储部23或存储器22的训练图像70PA、70PB、70NA、70NB;训练图像75P1~75Px、75N1~75Nx。训练图像70PA、70PB、70NA、70NB可为了训练第1人工智能算法50,训练图像75P1~75Px、75N1~75Nx为了训练第2人工智能算法53而各自使用。
【i.第1人工智能算法50的训练处理】
控制部20A在图16的步骤S11中,从阳性训练图像70PA、70PB生成阳性整合训练数据72P,从阴性训练图像70NA、70NB生成阴性整合训练数据72N。控制部20A在阳性整合训练数据72P和阴性整合训练数据72N的各自附对应的标签值74P或标签值74N,生成标签附带阳性整合训练数据73P或标签附带阴性整合训练数据73N。标签附带阳性整合训练数据73P或标签附带阴性整合训练数据73N作为训练数据73记录在存储部23。标签附带阳性整合训练数据73P及标签附带阴性整合训练数据73N的生成方法如在上述2-1.中说明。
接下来,控制部20A在图16的步骤S12中,向第1人工智能算法50输入生成的标签附带阳性整合训练数据73P及标签附带阴性整合训练数据73N,训练第1人工智能算法50。第1人工智能算法50的训练结果使用多个标签附带阳性整合训练数据73P及标签附带阴性整合训练数据73N而蓄积到训练的度。
接下来,控制部20A在图16的步骤S13中,判断蓄积预先确定的指定的试行次数的训练结果与否。在训练结果被蓄积指定的试行次数时(“YES”的情况)、控制部20A进到步骤S14的处理,训练结果未被蓄积指定的试行次数的情况(“NO”的情况)、控制部20A进到步骤S15的处理。
在训练结果蓄积指定的试行次数时,在步骤S14中,控制部20A使用步骤S12中蓄积的训练结果而更新第1人工智能算法50的权重w(结合权重w)。
接下来,控制部20A在步骤S15中,判断将第1人工智能算法50用规定数的标签附带阳性整合训练数据73P及标签附带阴性整合训练数据73N训练与否。在用规定数的标签附带阳性整合训练数据73P及标签附带阴性整合训练数据73N训练时(“YES”的情况),结束训练处理。控制部20A将训练的第1人工智能算法60收纳在存储部23。
在不将第1人工智能算法50用规定数的标签附带阳性整合训练数据73P及标签附带阴性整合训练数据73N训练时(“NO”的情况),控制部20A进到步骤S15至步骤S16,对于以下的阳性训练图像70PA、70PB及阴性训练图像70NA、70NB而进行步骤S11~步骤S15的处理。
【ii.第2人工智能算法53的训练处理】
控制部20A在图16的步骤S11中,从阳性训练图像75P1~75Px生成阳性整合训练数据77P,从阴性训练图像75N1~75Nx生成阴性整合训练数据77N。控制部20A在阳性整合训练数据77P和阴性整合训练数据77N的各自附对应的标签值79P或标签值79N,生成标签附带阳性整合训练数据78P或标签附带阴性整合训练数据78N。标签附带阳性整合训练数据78P或标签附带阴性整合训练数据78N作为训练数据78记录在存储部23。标签附带阳性整合训练数据78P及标签附带阴性整合训练数据78N的生成方法如在上述2-2.中说明。
接下来,控制部20A在图16的步骤S12中,向第2人工智能算法53输入生成的标签附带阳性整合训练数据78P及标签附带阴性整合训练数据78N,训练第2人工智能算法53。第2人工智能算法53的训练结果使用多个标签附带阳性整合训练数据78P及标签附带阴性整合训练数据78N而蓄积到训练的度。
接下来,控制部20A在图16的步骤S13中,判断蓄积预先确定的指定的试行次数的训练结果与否。在训练结果被蓄积指定的试行次数时(“YES”的情况)、控制部20A进到步骤S14的处理,在训练结果未被蓄积指定的试行次数时(“NO”的情况)、控制部20A进到步骤S15的处理。
在训练结果被蓄积指定的试行次数时,在步骤S14中,控制部20A使用步骤S12中蓄积的训练结果而更新第2人工智能算法53的权重w(结合权重w)。
接下来,控制部20A在步骤S15中,判断将第2人工智能算法53用规定数的标签附带阳性整合训练数据78P及标签附带阴性整合训练数据78N训练与否。在用规定数的标签附带阳性整合训练数据78P及标签附带阴性整合训练数据78N训练时(“YES”的情况),结束训练处理。控制部20A将训练的第2人工智能算法63收纳在存储部23。
在不将第2人工智能算法53用规定数的标签附带阳性整合训练数据78P及标签附带阴性整合训练数据78N训练时(“NO”的情况),控制部20A进到步骤S15至步骤S16,对于以下的阳性训练图像75P1~75Px及阴性训练图像75N1~75Nx而进行步骤S11~步骤S15的处理。
(4)训练程序
本实施方式含使计算机执行步骤S11~S16的处理的,用于训练人工智能算法的计算机程序。
再者,本实施方式的某个实施方式涉及存储上述计算机程序的存储介质等的程序制品。即,上述计算机程序可收纳在硬盘、闪存等的半导体存储器元件、光盘等的存储介质。向存储介质的程序的记录形式只要是训练装置200A能读取程序,就不限制。上述向存储介质的记录优选为不易失性的。
其中,“程序”是指不仅是能由CPU直接执行的程序,还含源形式的程序、压缩处理的程序、加密的程序等的概念。
【4-1-2.细胞摄像装置】
拍摄训练图像70、75及/或解析图像80、85的细胞摄像装置100A的构成示于图17。图17中所示的细胞摄像装置100A例示成像流式细胞仪。作为细胞摄像装置100A的摄像装置的动作由细胞解析装置400A控制。
如上所述,染色体异常或末梢循环肿瘤细胞使用1种以上的荧光染料而检测目标部位。优选,FISH法使用2种以上的荧光染料检测第1染色体上的目标部位和第2染色体上的目标部位(“修饰染色体”的“第1”及“第2”不是指染色体编号,是包括性的数的概念)。例如,与PML基因座杂交的探针是具有与PML基因座的碱基序列互补的序列的核酸被通过照射波长λ11的光而发生波长λ21的第1荧光的第1荧光染料标记的。通过使用此探针,PML基因座由第1荧光染料标记。与RARA基因座杂交的探针是具有与RARA基因座的碱基序列互补的序列的核酸被通过照射波长λ12的光而发生波长λ22的第2荧光的第2荧光染料标记的。通过使用此探针,RARA基因座由第2荧光染料标记。核由通过照射波长λ13的光而发生波长λ23的第3荧光的核染色用染料染色。波长λ11、波长λ12及波长λ13是所谓的激发光。另外,波长λ114是从用于进行明场观察的卤素灯等照射的光。
细胞摄像装置100A具备:流动池110,光源120~123,聚光透镜130~133,二向色镜140~141,聚光透镜150,光学单元151,聚光透镜152和摄像部160。使试样10流经流动池110的流路111。
光源120~123向从下至上流经流动池110的试样10照射光。光源120~123由例如半导体激光源构成。从光源120~123各自发射波长λ11~λ14的光。
聚光透镜130~133对从光源120~123发射的波长λ11~λ14的光各自进行聚光。二向色镜140使波长λ11的光透过,使波长λ12的光屈折。二向色镜141使波长λ11及λ12的光透过,使波长λ13的光屈折。由此,向流经流动池110的流路111的试样10照射波长λ11~λ14的光。再者,只要是细胞摄像装置100A具备的半导体激光源的数是1个以上,就不限制。半导体激光源的数可从例如,1、2、3、4、5或6之中选择。
当向流经流动池110的试样10照射波长λ11~λ13的光时,从标记在流经流路111的细胞的荧光染料发生荧光。具体而言,当向标记PML基因座的第1荧光染料照射波长λ11的光时,从第1荧光染料发生波长λ21的第1荧光。当向标记RARA基因座的第2荧光染料照射波长λ12的光时,从第2荧光染料发生波长λ22的第2荧光。当向对核进行染色的核染色用染料照射波长λ13的光时,从核染色用染料发生波长λ23的第3荧光。当向流经流动池110的试样10照射波长λ14的光时,此光透过细胞。透过细胞的波长λ14的透射光在明场图像的生成中使用。例如,在实施方式中,第1荧光是绿色的光的波长区域,第2荧光是红色的光的波长区域,第3荧光是蓝色的光的波长区域。
聚光透镜150对从流经流动池110的流路111的试样10发生的第1荧光~第3荧光和透过流经流动池110的流路111的试样10的透射光进行聚光。光学单元151具有4个二向色镜组合的构成。光学单元151的4个二向色镜将第1荧光至第3荧光和透射光用互相略微不同的角度反射,在摄像部160的光接收面上分离。聚光透镜152对第1荧光~第3荧光和透射光进行聚光。
摄像部160由TDI(Time Delay Integration)摄像机构成。摄像部160拍摄第1荧光~第3荧光和透射光而将各自对应于第1荧光~第3荧光的荧光图像和对应于透射光的明场图像作为摄像信号输出到细胞解析装置400A。拍摄的图像可为彩色图像,也可为灰度图像。
另外,细胞摄像装置100A也可根据需要具备预处理装置300。
预处理装置300采样受试体的一部分,对受试体中所含的细胞实施FISH、免疫染色、或者细胞器染色等,调制试样10。
【4-1-3.细胞解析装置】
(1)硬件的构成
使用图17,对细胞解析装置400A的硬件的构成进行说明。细胞解析装置400A能与细胞摄像装置100A通信地连接。细胞解析装置400A具备控制部40A,输入部46,输出部47和媒体驱动器98。另外,细胞解析装置400A能与网络99连接。
控制部40A的构成与训练装置200A的控制部20A的构成同样。其中,将训练装置200A的控制部20A中的CPU21、存储器22、存储部23、总线24、I/F部25、GPU29各自另读作CPU41、存储器42、存储部43、总线44、I/F部45、GPU49。但是,存储部43收纳训练装置200A生成,经网络99或经媒体驱动器98而CPU41从I/F部45取得的训练的人工智能算法60、63。
解析图像80、85可由细胞摄像装置100A取得,存储在细胞解析装置400A的控制部40A的存储部43或存储器42。
(2)细胞解析装置的功能构成
在图18显示细胞解析装置400A的功能构成。细胞解析装置400A具备:解析数据生成部401,解析数据输入部402,解析部403,解析数据数据库(DB)404和算法数据库(DB)405(a)、405(b)。图19中所示的步骤S21对应于解析数据生成部401。图19中所示的步骤S22对应于解析数据输入部402。图19中所示的步骤S23对应于解析部403。解析数据数据库404收纳解析数据82、88。
训练的第1人工智能算法60与用于检查染色体异常的检查项目及解析项目相对应而记录在算法数据库405(a)。训练的第2人工智能算法63与用于检查末梢循环肿瘤细胞的检查项目及解析项目相对应而记录在算法数据库405(b)。
(3)细胞解析处理
细胞解析装置400A的控制部40A进行图19中所示的细胞解析处理。由本实施方式变得容易进行高的精度并且高速的解析。
根据自使用者的处理开始的要求,或者以细胞摄像装置100A开始解析作为触发,控制部40A的CPU41开始细胞解析处理。
控制部40A在图19中所示的步骤S20中,由输入部46接受检查项目。具体而言,检查项目通过从附在各试样的条码将关于检查项目的信息由作为输入部46的一例的条码读码器读取来接受。控制部40A在步骤S21中,对应于步骤S20中接受的检查项目,从自细胞摄像装置100A输出的各通道的细胞图像选择解析数据的生成中使用的通道,取得对应于选择的通道的细胞图像,生成整合解析数据82或整合解析数据87。整合解析数据82的生成方法如在上述2-1.中说明。整合解析数据87的生成方法如在上述2-2.中说明。控制部40A将生成的整合解析数据82或整合解析数据87存储在存储部43或存储器42。
控制部40A在步骤S22中,对应于步骤S20中接受的检查项目,选择第1人工智能算法60或第2人工智能算法63。接受的检查项目和人工智能算法的关联由图20中所示的检查项目-算法表进行。检查项目-算法表存储在存储部43。图20中所示的检查项目-算法表作为“检查项目”,例示“染色体异常”、及“末梢循环肿瘤细胞”。作为解析项目,“BCR-ABL”、“PML-RARA”、“IGH-CCND1、IGH-FGFR3、IGH-MAF”对应于检查项目“染色体异常”,作为解析项目,“CTC”对应于检查项目“末梢循环肿瘤细胞”。另外,在各检查项目附显示标记在目标部位的荧光的波长区域的“绿”、“黄”、“青”、“红”的标签和显示是明场摄像的“明场”的标签。再者,在各荧光的波长区域和明场摄像附作为对应的摄像通道的名称的标签的“ch1”、“ch2”、“ch3”、“ch4”、“明场”的标签。进而,训练的第1人工智能算法60与解析项目“BCR-ABL”、“PML-RARA”、“IGH-CCND1、IGH-FGFR3、IGH-MAF”关联。训练的第2人工智能算法63与解析项目“CTC”关联。
控制部40A在步骤S22中,在检查项目是“染色体异常”的情况中,对应于解析项目的标签,选择第1人工智能算法60,在检查项目是“末梢循环肿瘤细胞”的情况中,对应于解析项目的标签,选择第2人工智能算法63。
控制部40A在步骤S23中,使用选择的第1人工智能算法60或第2人工智能算法63,判断解析图像80A、80B中的解析对象细胞的性状,将判断结果的标签值84存储在存储部43或存储器42。判断方法如在上述2-1.及2-2.中说明。
控制部40A在步骤S24中,判断是否判断了全部解析图像80A、80B,在判断全部解析图像80A、80B时(“YES”的情况),进到步骤S25,将对应于判断结果的标签值84的判断结果存储在存储部43的同时,向输出部输出判断结果。在步骤S24中,未判断全部解析图像80A、80B的情况(“NO”的情况)、控制部40A在步骤S26中更新解析图像80A、80B,重复步骤S21至步骤S24至对于全部解析图像80A、80B而进行判断。判断结果可为标签值本身,也可为对应于各标签值的“有”、“无”或“异常”、“正常”等的标签。
(4)细胞解析程序
本实施方式含使计算机执行步骤S20至S26及步骤S221至S222的处理的,用于进行细胞的解析的计算机程序。
再者,本实施方式的某个实施方式涉及存储上述计算机程序的存储介质等的程序制品。即,上述计算机程序可收纳在硬盘、闪存等的半导体存储器元件、光盘等的存储介质。向存储介质的程序的记录形式只要是训练装置200A能读取程序,就不限制。上述向存储介质的记录优选为不易失性的。
其中,“程序”是指不仅是能由CPU直接执行的程序,还含源形式的程序、压缩处理的程序、加密的程序等的概念。
【5.其他实施方式】
(1)解析装置的变形例
在第1实施方式中,对控制部40A基于在S20接受的检查项目而选择人工智能算法的例进行说明。但是,也可变为检查项目而基于图36及图37中所示的解析模式。
控制部40A在图36中所示的步骤S200中,由输入部46接受解析模式。具体而言,在兼备输入部46及输出部47的功能的触控面板式显示器显示图37中所示的解析模式接受画面,通过接受染色体异常判断模式按钮801或CTC判断模式802,接受解析模式。控制部40A在步骤S201中,对应于步骤S200中接受的解析模式,从自细胞摄像装置100A输出的各通道的细胞图像选择解析数据的生成中使用的通道,取得对应于选择的通道的细胞图像,生成整合解析数据82或整合解析数据87。整合解析数据82的生成方法如在上述2-1.中说明。整合解析数据87的生成方法如在上述2-2.中说明。控制部40A将生成的整合解析数据82或整合解析数据87存储在存储部43或存储器42。
控制部40A在步骤S202中,在接受的解析模式是“染色体异常判断模式”的情况中,选择第1人工智能算法60,在接受的解析模式是“CTC判断模式”的情况中,选择第2人工智能算法63。
控制部40A在步骤S203中,使用选择的第1人工智能算法60或第2人工智能算法63,判断解析图像80A、80B中的解析对象细胞的性状,将判断结果的标签值84存储在存储部43或存储器42。判断方法如在上述2-1.及2-2.中说明。
由于由控制部40A的步骤S204~S206的处理与图19中说明的步骤S24~S26同样,省略说明。
(2)摄像部的变形例
在第1实施方式中,在上述1.至4.中,对成像流式细胞仪具备摄像部160的例进行说明。但是,也可变为成像流式细胞仪而使用图21及图22中所示的显微镜700。其中,图21中所示的显微镜在美国专利第2018-0074308号公报中公开,整合到本说明书。
如图21所示,显微镜装置700具备筐体部710和移动部720。显微镜装置700具备摄像部710d和载玻片设置部711。摄像部710d具备物镜712,光源713和摄像元件714。载玻片设置部711设在筐体部710的上表面(Z1方向侧的面)。物镜712,光源713和摄像元件714设在筐体部710的内部。显微镜装置700具备显示部721。显示部721设在移动部720的前面(Y1方向侧的面)。显示部721的显示面721a配置于移动部720的前面侧。显微镜装置700具备使移动部720对于筐体部710相对移动的驱动部710a。
载玻片设置部711含载物台711a。载物台711a能向水平方向(X方向及Y方向)和上下方向(Z方向)移动。载物台711a能在X方向、Y方向及Z方向互相独立地移动。由此,由于可使载玻片对于物镜712相对移动,能放大观察载玻片的期望的位置。
物镜712接近于载玻片设置部711的载物台711a而配置。物镜712接近于载玻片设置部711的载物台711a的下方(Z2方向)而配置。物镜712设为在上下方向(Z方向)与载玻片设置部711面对。物镜712以成为光轴相对于载玻片设置部711的设置有载玻片的载玻片设置面大致垂直的方式配置。物镜712向上方向配置。物镜712能相对于载玻片设置部711而向上下方向(Z方向)相对移动。物镜712以在上下方向具有长边方向的方式配置。即,物镜712以在大致垂直方向具有光轴的方式配置。物镜712含多个透镜。
光源713能向涂布有试样的载玻片照射光。光源713经物镜712向载玻片照射光。光源713对于载玻片而从与摄像元件714相同的侧照射光。光源713能输出指定的波长的光。光源713能输出不同的多个波长的光。即,光源713能输出不同的种类的光。光源713含发光元件。发光元件含例如,LED元件、或者,激光元件等。
在图22显示显微镜装置700的光学系的构成例。显微镜装置700,作为光学系的构成,具备物镜712,光源713,摄像元件714,第1光学元件715,滤镜716a,第2光学元件716b、716c、716f及716g,透镜716d、716e及716h,反射部717a、717b及717d和透镜717c。物镜712,光源713,摄像元件714,第1光学元件715,滤镜716a,第2光学元件716b、716c、716f及716g,透镜716d、716e及716h,反射部717a、717b及717d和透镜717c配置于筐体部710的内部。
第1光学元件715以使从光源713照射的光向物镜712的光轴方向反射而使自载玻片的光透过的方式构成。第1光学元件715含例如,二向色镜。即,第1光学元件715以反射从光源713照射的波长的光而使从载玻片发生的光的波长透过的方式构成。
滤镜716a以使指定的波长的光透过而遮蔽其以外的波长的光,或者,遮蔽指定的波长的光而使其以外的波长的光透过的方式构成。即,由滤镜716a透过期望的波长的光而到达摄像元件714。
第2光学元件716b、716c、716f及716g以将自载玻片的光向摄像元件714反射的方式构成。第2光学元件716b、716c、716f及716g含反射部。第2光学元件716b、716c、716f及716g含例如,反射镜。
反射部717a、717b及717d以将自光源713的光向物镜712反射的方式构成。反射部717a、717b及717d含例如,反射镜。
从光源713发射的光被反射部717a反射而入射到反射部17b。入射到反射部717b的光被反射而经透镜717c入射到反射部717d。入射到反射部717d的光被反射而入射到第1光学元件715。入射到第1光学元件715的光被反射而经物镜712到达载玻片设置部11,照射到载玻片。
基于光源713的光而从载玻片发出的光经物镜712而入射到第1光学元件715。入射到第1光学元件715的光透过而经滤镜716a入射到第2光学元件716b。入射到第2光学元件716b的光被反射而入射到第2光学元件716c。入射到第2光学元件716c的光被反射而经透镜716d及716e入射到第2光学元件716f。入射到第2光学元件716f的光被反射而入射到第2光学元件716g。入射到第2光学元件716g的光被反射而经透镜16h到达摄像元件714。摄像元件714基于到达的光而拍摄载玻片的放大图像。
拍摄的图像从显微镜700发送到图21中所示的计算机800。计算机800相当于生成装置(200A)及/或细胞解析装置(400A)。
【III.第2实施方式】
第2实施方式涉及从基于自细胞的信号强度的波形数据使用人工智能算法对细胞进行解析的方法。
【1.细胞的解析方法】
本实施方式涉及对生物体试样中所含的细胞进行解析的细胞的解析方法。解析方法向具有神经网络结构的第3人工智能算法560或第4人工智能算法563输入对应于关于各细胞的信号强度的数值数据。进而,基于从第3人工智能算法560或第4人工智能算法563输出的结果而针对每个细胞判断取得信号强度的细胞的类别。
在本实施方式的某实施方式中要判断的细胞的类别以基于形态学的分类的细胞的类别作为基准,对应于生物体试样的种类不同。在生物体试样是血液时,在血液是从健康人采血时,在在本实施方式中要判断的细胞的类别中,含红细胞、白细胞等的有核细胞、血小板等。在有核细胞中,含嗜中性粒细胞、淋巴细胞、单核细胞、嗜酸性粒细胞、嗜碱性粒细胞。在嗜中性粒细胞中,含分叶核嗜中性粒细胞及杆状核嗜中性粒细胞。一方面,在血液是从非健康人采血时,在有核细胞中,有时含选自幼稚粒细胞及异常细胞的至少一种。这样的细胞也在本实施方式中含在要判断的细胞的类别。在幼稚粒细胞中,可含后髓细胞、髓细胞、前髓细胞、成髓细胞等的细胞。
使用图23~图25中所示的例,对训练数据575的生成方法及波形数据的解析方法进行说明。其中“训练”或“训练”这样的用语有时置换为“生成”或“生成”这样的用语使用。记载的便利上,有时将“解析对象图像”称为“解析图像”,将“解析用数据”称为“解析数据”,将“训练用图像”称为“训练图像”,将“训练用数据”称为“训练数据”。另外,“荧光图像”是指拍摄荧光标记的训练图像或拍摄荧光标记的解析图像。
(1)训练数据的生成
图23中所示的例是为了训练用于判断白细胞、幼稚粒细胞、异常细胞的类别的第3人工智能算法而使用的训练用波形数据的生成方法的一例。作为训练用波形数据的前方散射光的波形数据570a、侧方散射光的波形数据570b、及侧方荧光的波形数据570c与训练对象的细胞关联。也将前方散射光的波形数据570a、侧方散射光的波形数据570b、及侧方荧光的波形数据570c并称为训练用波形数据570。从训练对象的细胞取得的训练用波形数据570a、570b、570c也可为将基于形态学的分类的细胞的种类已知的细胞用流式细胞术测定的波形数据。或者,也可使用从健康人的散点图已经判断细胞的类别的细胞的波形数据。另外,作为判断健康人的细胞的类别的波形数据,也可使用从多个人取得的细胞的波形数据的池。用于取得训练用波形数据570a、570b、570c的受试体优选从含与训练对象的细胞同种的细胞的试样,用与含训练对象的细胞的受试体同样的受试体处理方法处理。另外,训练用波形数据570a、570b、570c优选与解析对象的细胞的取得条件在同样的条件下取得。训练用波形数据570a、570b、570c可例如由公知的流式细胞术或鞘流电阻法,针对每个细胞预先取得。其中,在训练对象的细胞是红细胞或血小板时,训练数据有时成为由鞘流电阻法取得的波形数据,波形数据有时成为从电信号强度得到的一种。
在图23中所示的例中,使用采用Sysmex XN-1000由流式细胞术取得的训练用波形数据570a、570b、570c。训练用波形数据570a、570b、570c是例如,前方散射光达指定的阈值之后,开始前方散射光的信号强度、侧方散射光的信号强度、侧方荧光的信号强度的取得,在指定时间后至结束取得之间、对于1个训练对象的细胞而以一定的间隔在多个时间点取得各波形数据的例。作为以一定的间隔取得多个时间点的波形数据的例,可举例如,以10纳秒间隔1024分、以80纳秒间隔128分、或者以160纳秒间隔64分等。各波形数据使生物体试样中所含的细胞流经流式细胞仪、及鞘流电阻方式的测定装置等中具备的能个别地检测细胞的测定部内的细胞检测用的流路,对于通过流路内的各细胞而取得。具体而言,在1个训练对象的细胞通过流路内的指定位置之间的多个时间点,以显示取得信号强度的时间的值和显示该时间点的信号强度的值作为要素的数据组针对每个信号取得,作为训练用波形数据570a、570b、570c使用。关于时间点的信息只要是可以后述的控制部10T、20T可判断的方式存储信号强度的取得自开始起经过多久,就不限制。例如,时间点的信息可为自测定开始的时间,也可为何番的方面。信号强度优选与取得其信号强度的时间点的信息一同存储在后述的存储部13、23或存储器12、22。
图23的训练用波形数据570a、570b、570c如果将各自以原始数据的值显示的话,例如成为如前方散射光的数列数据572a、侧方散射光的数列数据572b、侧方荧光的数列数据572c一样。数列数据572a、572b、572c是,针对每个训练对象的细胞同步取得信号强度的时间点,成为前方散射光的数列数据576a、侧方散射光的数列数据576b、侧方荧光的数列数据576c。即,从576a之左第2数值开始测量的时刻t=0的信号强度而成为10。同样地,从576b及576c之左第2数值开始测量的时刻t=0的信号强度,各自成为50和100。另外,在576a、576b、576c各自的内部邻接的池以10纳秒间隔收纳信号强度。数列数据576a、576b、576c与表示训练对象的细胞的类别的标签值577组合,以同时间点的3个信号强度(前方散射光的信号强度、侧方散射光的信号强度、及侧方荧光的信号强度)成组的方式作为训练数据575向第3人工智能算法550输入。例如,在训练对象的细胞是嗜中性粒细胞时,在数列数据576a、576b、576c作为表示是嗜中性粒细胞的标签值577赋予“1”,生成训练数据575。在图24显示标签值577的例。训练数据575为了针对每个细胞的类别生成,标签值赋予对应于细胞的种类不同的标签值577。其中,取得信号强度的时间点的同期是指以例如自测定开始起的时间在前方散射光的数列数据572a、侧方散射光的数列数据572b、侧方荧光的数列数据572c中在同时间点组合的方式使测定点一致。换言之,是指以前方散射光的数列数据572a、侧方散射光的数列数据572b、侧方荧光的数列数据572c的各自成为通过流动池内的一个细胞在相同的时间点取得的信号强度的方式调整。测定开始的时间可为作为前方散射光的信号强度超阈值等的指定的阈值的时间点,也可为使用其他散射光、或者荧光的信号强度的阈值。另外,也可每数列数据设定阈值。
数列数据576a、576b、576c可为直接使用取得的信号强度值,也可为根据需要,进行噪声除去、基线修正、标准化等的处理。在本说明书中,在“对应于信号强度的数值数据”中,可含取得的信号强度值本身,及根据需要实施噪声除去、基线修正、标准化等的值。
以图23作为例,对具有神经网络结构的第3人工智能算法550及第4人工智能算法553的训练的概要进行说明。第3人工智能算法550是用于对嗜中性粒细胞、淋巴细胞、单核细胞、嗜酸性粒细胞、嗜碱性粒细胞、幼稚粒细胞进行分类的算法,第4人工智能算法553是用于对异常细胞进行分类的算法。第3人工智能算法550及第4人工智能算法553优选为折叠神经网络。在第3人工智能算法550中的输入层550a的节点数对应于输入的训练数据575的波形数据中所含的序列数。将训练数据575以数列数据576a、576b、576c取得信号强度的时间点成为同时间点的方式组合,作为第1训练数据向第3人工智能算法550的输入层550a输入。向第3人工智能算法550的输出层550b输入训练数据575的各波形数据的标签值577作为第2训练数据,训练第3人工智能算法550。图23的符号550c表示中间层。第4人工智能算法553也具有同样的构成。
(2)解析数据的生成和细胞的解析方法
在图25显示解析作为解析对象的细胞的波形数据的方法的例。在使用波形数据的细胞解析方法中,从自解析对象的细胞取得的前方散射光的波形数据580a、侧方散射光的波形数据580b、及侧方荧光的波形数据580c生成解析数据585。也将波形数据580a、波形数据580b、及波形数据580c合称为解析用波形数据580。解析用波形数据580a、580b、580c可使用例如公知的流式细胞术取得。在图25中所示的例中,解析用波形数据580a、580b、580c使用Sysmex XN-1000而与训练用波形数据570a、570b、570c同样地取得。解析用波形数据580a、580b、580c如果将各自以原始数据的值显示的话,例如成为如前方散射光的数列数据582a、侧方散射光的数列数据582b、及侧方荧光的数列数据582c一样。
关于解析数据585的生成和训练数据575的生成,优选至少使从取得条件、及各波形数据等生成向神经网络输入的数据的条件变得相同。数列数据582a、582b、582c是,针对每训练对象的细胞同步取得信号强度的时间点,成为数列数据586a(前方散射光)、数列数据586b(侧方散射光)、数列数据586c(侧方荧光)。数列数据586a、586b、586c是,以同时间点的3个信号强度(前方散射光的信号强度、侧方散射光的信号强度、及侧方荧光的信号强度)成组的方式组合而作为解析数据585向第3人工智能算法560或第4人工智能算法563输入。
当向构成训练的第3人工智能算法560的输入层560a或构成第4人工智能算法563的输入层563a输入解析数据585时,向从输出层560b或输入层563a作为训练数据输入的细胞的类别的各自输出取得解析数据585的解析对象的细胞所属的概率。图25的符号560c及563c表示中间层。再者,也可在判断为此概率之中取得解析数据585的解析对象的细胞属于值最高的分类,输出与该细胞的类别关联的标签值582等。关于输出的细胞的解析结果583除了标签值本身之外,也可为将标签值置换为显示细胞的类别的信息(例如用语等)的数据。在图25中显示基于解析数据585而输出第3人工智能算法560或第4人工智能算法563取得解析数据585的解析对象的细胞所属的概率最高的标签值“1”,再者,对应于此标签值的称为“嗜中性粒细胞”的文字数据作为关于细胞的解析结果583被输出的例。标签值的输出可为第3人工智能算法560或第4人工智能算法563进行,也可为其他计算机程序基于第3人工智能算法560或第4人工智能算法563算出的概率而输出最优选的标签值。
【2.细胞解析装置系统】
本实施方式的波形数据可在细胞解析系统5000中取得。在图26显示细胞解析系统5000的外观。细胞解析系统5000具备测定单元(也称为测定部)600和用于控制测定单元600中的试样的测定条件的设定或测定的处理单元100T、200T。测定单元600和处理单元100T、200T能相互通信地有线、或者无线连接。接下来,显示测定单元600的构成例在本实施方式的实施方式中不以限于以下例示的的方式解释。处理单元100T、或者处理单元200T可与后述的训练装置100T、或者细胞解析装置200T各自共用。其中,使用作为处理单元100T、或者处理单元200T,各自使用训练装置100T、或细胞解析装置200T的例进行说明。
【2-1.第1细胞解析系统5000】
(1)第1测定单元的构成
使用图26至图28,对测定单元600是用于检测血液试样的有核细胞的流式细胞仪时的构成例进行说明。
图27显示测定单元600的功能构成的例。如此图所示,测定单元600具备检测血细胞的检测部610、对于检测部610的输出的模拟处理部620、测定单元控制部680、显示-操作部650、试样调制部640、及装置机构部630。模拟处理部620对于作为从检测部输入的模拟信号的电信号而进行含噪声除去的处理,以处理的结果作为电信号对于A/D变换部682输出。
检测部610作为信号取得部发挥功能,至少具备检测白细胞等的有核细胞的有核细胞检测部611、对红细胞数及血小板数进行测定的红细胞/血小板检测部612、根据需要测定血液中的血染料量的血红蛋白检测部613。再者,有核细胞检测部611由光学式检测部构成,更具体而言,具备用于进行由流式细胞术的检测的构成。
如图27所示,测定单元控制部680具备:A/D变换部682,数字值计算部683和与训练装置100T或者细胞解析装置200T连接的接口部689。再者,测定单元控制部680具备介于显示-操作部650之间的接口部486和介于装置机构部630之间的接口部688。
再者,数字值计算部683经接口部684及总线685与接口部689连接。另外,接口部689经总线685及接口部486与显示-操作部650连接,经总线685及接口部688与检测部610、装置机构部630及试样调制部640连接。
A/D变换部682将从模拟处理部620输出的作为模拟信号的光接收信号变换为数字信号而输出到数字值计算部683。数字值计算部683对于从A/D变换部682输出的数字信号而进行指定的计算处理。作为指定的计算处理,含例如,前方散射光达指定的阈值之后,开始前方散射光的信号强度、侧方散射光的信号强度、侧方荧光的信号强度的取得,在指定时间后至结束取得之间、对于1个训练对象的细胞而以一定的间隔在多个时间点取得各波形数据的处理、提取波形数据的峰值的处理等,不限于此。进而,数字值计算部683将计算结果(测定结果)经接口部684、总线685及接口部689输出到训练装置100T、或者细胞解析装置200T。
训练装置100T、或者细胞解析装置200T经接口部684、总线685、及接口部689与数字值计算部683连接,从数字值计算部683输出的计算结果可由训练装置100T、或者细胞解析装置200T接收。另外,训练装置100T、或者细胞解析装置200T进行由自动供给试样容器的采样机(图示省略)、用于试样的调制-测定的流体系等构成的装置机构部630的控制及其他控制。
有核细胞检测部611使含细胞的测定试样流经细胞检测用的流路,向流经细胞检测用的流路的细胞照射光而对从细胞发生的散射光及荧光进行测定。红细胞/血小板检测部612使含细胞的测定试样流经细胞检测用的流路,对流经细胞检测用的流路的细胞的电阻进行测定,检测细胞的容积。
在本实施方式中,测定单元600优选具备流式细胞仪及/或鞘流电阻方式检测部。在图27中,有核细胞检测部611可为流式细胞仪。在图27中,红细胞/血小板检测部612可为鞘流电阻方式检测部。其中,可将有核细胞用红细胞/血小板检测部612测定,也可将红细胞及血小板用有核细胞检测部611测定。
(2)流式细胞仪
如图28所示,在利用流式细胞仪的测定中,在测定试样中所含的细胞通过流式细胞仪内具备的流动池(鞘流池)4113时,光源4111向流动池4113照射光,检测从由此光而流动池4113内的细胞发出的散射光及荧光。
在本实施方式中,散射光只要是一般可用流通的流式细胞仪测定的散射光,就不特别限定。例如,作为散射光,可举前方散射光(例如,光接收角度0~20次附近)及侧方散射光(光接收角度90次附近)。已知侧方散射光反映细胞的核或颗粒等的细胞的内部信息,前方散射光反映细胞的大小的信息。在本实施方式中,作为散射光强度,优选测定前方散射光强度、及侧方散射光强度。
荧光是对于与细胞内的核酸等结合的荧光染料,在使适当的波长的激发光详细时从荧光染料发出的光。激发光波长及光接收波长对应于使用的荧光染料的种类。
图28显示有核细胞检测部611的光学系的构成例。在此图中,从作为光源4111的激光二极管发射的光经照射透镜系4112照射到通过流动池6113内的细胞。
在本实施方式中,流式细胞仪的光源4111不特别限定,选择适宜于荧光染料的激发的波长的光源4111。作为这样的光源4111,使用例如含红色半导体激光及/或蓝色半导体激光的半导体激光、氩激光、氦-氖激光等的气体激光、汞弧光灯等。特别是半导体激光与气体激光相比非常地廉价,从而适宜。
如图28所示,从通过流动池4113的粒子发出的前方散射光经聚光透镜4114和针孔部4115而由前方散射光光接收元件4116接收。前方散射光光接收元件4116可为光电二极管等。侧方散射光经聚光透镜4117、二向色镜4118、带通滤波器4119、及针孔部4120而由侧方散射光光接收元件4121接收。侧方散射光光接收元件4121可为光电二极管、光电倍增管等。侧方荧光经聚光透镜4117及二向色镜4118而由侧方荧光光接收元件4122接收。侧方荧光光接收元件4122可为雪崩光电二极管、光电倍增管等。
从各光接收元件4116、4121及4122输出的光接收信号各自由具有放大器4151、4152及4153的图27中所示的模拟处理部620实施扩增-波形处理等的模拟处理,传送到测定单元控制部680。
回到图27,测定单元600也可具备调制测定试样的试样调制部640。试样调制部640经接口部688及总线685而由测定单元信息控制部481控制。图29在测定部600内具备的试样调制部640中,将血液试样、染色试剂和溶血试剂混合而调制测定试样,显示将得到的测定试样用有核细胞检测部测定的样式。
在图29中,试样容器00a内的血液试样从抽吸移液器601抽吸。用抽吸移液器601定量的血液试样与指定量的稀释液混合而被运到反应室602。向反应室602添加指定量的溶血试剂。向反应室602供给指定量的染色试剂,与上述的混合物混合。通过使血液试样和染色试剂及溶血试剂的混合物在反应室602中反应指定的时间,血液试样中的红细胞溶血,得到了有核细胞被荧光染料染色的测定试样。
得到的测定试样与鞘液(例如,CELLPACK(II)、Sysmex株式会社制)一同传送到有核细胞检测部611内的流动池4113,在有核细胞检测部611中由流式细胞术测定。
(1)训练装置的硬件构成
图30例示训练装置100T的硬件构成。训练装置100T具备控制部10T,输入部16和输出部17。另外,训练装置100T能与网络99连接。
控制部10T的构成与训练装置200A的控制部20A的构成同样。其中,将训练装置200A的控制部20A中的CPU21、存储器22、存储部23、总线24、I/F部25、GPU29各自另读作CPU11、存储器12、存储部13、总线14、I/F部15、GPU19。但是,存储部13第3人工智能算法550及第4人工智能算法560收纳。
训练用波形数据570可由测定单元600取得,存储在训练装置100T的控制部10T的存储部13或存储器12。
(2)解析装置的硬件构成
参照图31,细胞解析装置200T具备控制部20,输入部26,输出部27和媒体驱动器D98。另外,细胞解析装置200T能与网络99连接。
控制部20T的构成与细胞解析装置400A的控制部40A的构成同样。其中,将细胞解析装置400A的控制部40A中的CPU41、存储器42、存储部43、总线44、I/F部45、GPU49各自另读作CPU21、存储器22、存储部23、总线24、I/F部25、GPU29。但是,存储部23以训练的多个第3人工智能算法560作为后述的图32中所示的数据库收纳。
解析用波形数据580可由测定单元600取得,存储在细胞解析装置200T的控制部20T的存储部23或存储器22。
(3)训练装置的功能构成
参照图32,训练装置100T的控制部10T具备训练数据生成部T101,训练数据输入部T102和算法更新部T103。图34中所示的步骤S1001对应于训练数据生成部T101。图34中所示的步骤S1002对应于训练数据输入部T102。图34中所示的步骤S1004对应于算法更新部T103。训练数据数据库(DB)T104和算法数据库(DB)T105(a)、T105(b)可记录在控制部10T的存储部13。
训练用波形数据570a、570b、570c由测定单元600预先取得,预先存储到控制部10T的训练数据数据库T104(a)。第3人工智能算法550预先收纳在算法数据库T105(b)。
(4)细胞解析装置的功能构成
在图33显示细胞解析装置200T的功能构成。细胞解析装置200T具备解析数据生成部T201,解析数据输入部T202,解析部T203,解析数据数据库(DB)T204和算法数据库(DB)T205(a)、T205(b)。图35中所示的步骤S2001对应于解析数据生成部T201。图35中所示的步骤S2002对应于解析数据输入部T202。图35中所示的步骤S2003对应于解析部T403。解析用波形数据580由测定单元600取得,存储到解析数据数据库T204。训练的多个第3人工智能算法560存储到算法数据库T205(a)。第4人工智能算法563存储到算法数据库T205(b)。
(5)训练处理
在图34显示由训练装置100T的控制部10T进行的处理的例。
首先,控制部10T取得训练用波形数据570a、570b、570c。训练用波形数据570a是前方散射光的波形数据,训练用波形数据570b是侧方散射光的波形数据,训练用波形数据570c是侧方荧光的波形数据。训练用波形数据570a、570b、570c的取得由操作者的操作,从测定单元600收取,或从媒体驱动器D98收取,经由网络经I/F部15而进行。在取得训练用波形数据570a、570b、570c时,也取得该训练用波形数据570a、570b、570c是否表示任何细胞的种类的信息。显示何种细胞的种类的信息与训练用波形数据570a、570b、570c关联,另外也可由操作者从输入部16输入。
在步骤S1001中,控制部10T赋予与训练用波形数据570a、570b、570c关联的表示是否是细胞的种类之任一者的信息,存储在存储器12或存储部13的与细胞的种类关联的标签值和将数列数据572a、572b、572c与在取得波形数据的时间使前方散射光、侧方散射光、及侧方荧光的波形数据同步的数列数据576a、576b、576c相对应的标签值577。这样,控制部10T生成训练数据575。
在步骤S1002中,控制部10T使用训练数据575训练第3人工智能算法550或第4人工智能算法553。第3人工智能算法550及第4人工智能算法553的训练结果使用多个训练数据575而蓄积到训练的度。在训练数据575的标签值577显示嗜中性粒细胞、淋巴细胞、单核细胞、嗜酸性粒细胞、嗜碱性粒细胞、幼稚粒细胞时,在训练第3人工智能算法550,训练数据575的标签值577显示异常细胞时,训练第4人工智能算法553。
在本实施方式涉及的细胞类别的解析方法中,为了使用折叠神经网络,使用概率的梯度降低法,在步骤S1003中,控制部10T判断蓄积预先确定的指定的试行次数的训练结果与否。在训练结果被蓄积指定的试行次数时(“YES”的情况)、控制部10T进到步骤S1004的处理,在训练结果未被蓄积指定的试行次数时(“NO”的情况)、控制部10T进到步骤S15的处理。
接下来,在训练结果被蓄积指定的试行次数时,在步骤S1004中,控制部10T使用步骤S1002中蓄积的训练结果而更新第3人工智能算法550或第4人工智能算法553的权重w。在本实施方式涉及的细胞类别的解析方法中,为了使用概率的梯度降低法,在指定的试行次数的训练结果蓄积的阶段,更新第3人工智能算法550或第4人工智能算法553的权重w。
在步骤S1005中,控制部10T判断将第3人工智能算法550或第4人工智能算法553用规定数的训练用数据575训练与否。在用规定数的训练用数据575训练时(“YES”的情况),结束训练处理。
控制部10T在判断为步骤S1005中未将第3人工智能算法550或第4人工智能算法553用规定数的训练用数据575训练的情况(“NO”的情况)时,进到步骤S1005至步骤S1006,对于以下的训练用波形数据570而进行步骤S1001~步骤S1005的处理。
根据以上说明的处理而控制部10T训练第3人工智能算法550及第4人工智能算法553,生成第3人工智能算法560及第4人工智能算法563。第3人工智能算法560及第4人工智能算法563可记录在1台计算机。
(6)细胞解析处理
首先,控制部20T取得解析用波形数据580a、580b、580c。解析用波形数据580a、580b、580c的取得由使用者的操作,或者自动地从测定单元600收取,或从记录介质98收取,经由网络经I/F部25而进行。
控制部20T在图35中所示的步骤S2000中,由输入部26接受检查项目。具体而言,检查项目通过从附在各试样的条码将关于检查项目的信息由作为输入部46的一例的条码读码器读取来接受。检查项目从“血细胞分类检查”及“异常细胞检查”选择。控制部20T在步骤S2001中,从数列数据582a、582b、582c根据在上述细胞解析方法中说明的顺序生成关于细胞的解析数据585。控制部20T将生成的解析数据585存储在存储部23或存储器22。
控制部20T在步骤S2002中,对应于步骤S2000中接受的检查项目,选择第3人工智能算法560或第4人工智能算法563。控制部20T在检查项目是“血细胞分类检查”的情况中,选择第3人工智能算法560,在检查项目是“异常细胞检查”的情况中,选择第4人工智能算法563。
控制部20T在步骤S2003中,使用选择的第3人工智能算法560或第4人工智能算法563,对解析对象细胞进行分类,将判断结果的标签值577存储在存储部43或存储器42。
控制部20T在步骤S2004中,判断是否判断了全部解析对象细胞,在判断全部时(“YES”的情况),进到步骤S2005,将判断结果存储在存储部43的同时,向输出部输出判断结果。在步骤S2004中,未判断全部的情况(“NO”的情况)、控制部20T在步骤S2006中更新解析对象细胞,重复步骤S2001至步骤S2004至对于全部进行判断。
由上述的各实施方式变得能无论检查者的技巧而进行细胞的种类的判断。另外,在细胞解析中,使多个解析项目的解析变得容易。
(7)各种程序
第2实施方式含使计算机执行步骤S1001~S1006的处理的,用于训练人工智能算法的计算机程序。
第2实施方式含使计算机执行步骤S2000~S2006及S22001~S22002的处理的,用于对细胞进行解析的计算机程序。
再者,本实施方式的某个实施方式涉及存储上述计算机程序的存储介质等的程序制品。即,上述计算机程序可收纳在硬盘、闪存等的半导体存储器元件、光盘等的存储介质。向存储介质的程序的记录形式只要是训练装置200A能读取程序,就不限制。上述向存储介质的记录优选为不易失性的。
其中,“程序”是指不仅是能由CPU直接执行的程序,还含源形式的程序、压缩处理的程序、加密的程序等的概念。
【IV.其他】
本发明不以限定于上述的实施方式的方式解释。例如,在上述实施方式中,选择对应于接受的检查项目而使用的算法也可接受解析项目,选择对应于接受的解析项目而使用的算法。
【符号的说明】
82、87、585:解析用数据
60、63、560、563:人工智能算法
84、88、582:显示细胞的性状的数据
400A、200B、200T:细胞解析装置
1000、5000:细胞解析系统
110:流动池
120、121、122、123:光源
160:摄像部

Claims (19)

1.对细胞进行解析的细胞解析方法,其包括:
生成试样中所含的细胞的解析用数据,
从多个人工智能算法选择人工智能算法,所述人工智能算法接受生成的所述解析用数据的输入,及
由选择的所述人工智能算法基于所述解析用数据生成显示所述细胞的性状的数据。
2.权利要求1所述的细胞解析方法,其中
使含细胞的试样流经流路,
拍摄通过所述流路内的所述细胞而生成解析对象图像,
从生成的所述解析对象图像生成所述解析用数据。
3.权利要求1所述的细胞解析方法,其中
使含细胞的试样流经流路,
取得关于通过所述流路内的各细胞的信号强度,
从取得的所述信号强度生成所述解析用数据。
4.权利要求1所述的细胞解析方法,其中
将涂布在载玻片上的试样中所含的细胞由显微镜放大拍摄而生成解析对象图像,
从生成的所述解析对象图像生成所述解析用数据。
5.权利要求2所述的细胞解析方法,其中
所述解析对象图像对于1个细胞而含多个图像,
所述解析用数据从各图像各自生成。
6.权利要求5所述的细胞解析方法,其中所述多个图像含:
拍摄存在于核的第1荧光标记的第1荧光图像、和
拍摄存在于核的第2荧光标记的第2荧光图像。
7.权利要求5所述的细胞解析方法,其中所述多个图像含:
所述细胞的明场图像、和
拍摄所述细胞的荧光标记的荧光图像。
8.权利要求5所述的细胞解析方法,其中
接受检查项目或解析项目,
基于接受的检查项目或解析项目而选择在所述解析用数据的生成中使用的所述图像。
9.权利要求1所述的细胞解析方法,其中
接受检查项目或解析项目,
所述人工智能算法基于接受的检查项目或解析项目而选择。
10.权利要求1所述的细胞解析方法,其中
从多个解析模式接受一个解析模式,
所述人工智能算法基于接受的解析模式而选择。
11.权利要求10所述的细胞解析方法,其中所述解析模式经用于接受解析模式的模式接受画面接受。
12.权利要求1所述的细胞解析方法,其中所述人工智能算法是具有神经网络结构的深层学习算法。
13.权利要求1所述的细胞解析方法,其中所述多个人工智能算法含下列算法中的至少一方:
生成显示是否是具有染色体异常的细胞的数据的算法、及
生成显示是否是末梢循环肿瘤细胞的数据的算法。
14.权利要求1所述的细胞解析方法,其中所述多个人工智能算法存储在相同的计算机。
15.对细胞进行解析的细胞解析装置,其具备控制部,所述控制部以如下方式构成:
从多个人工智能算法选择人工智能算法,所述人工智能算法接受试样中所含的细胞的解析用数据的输入,
由选择的所述人工智能算法基于所述解析用数据生成显示所述细胞的性状的数据。
16.细胞解析系统,其具备:
含细胞的试样流经的流动池,
用于向流经所述流动池的试样照射光的光源,
拍摄照射所述光的所述试样中的细胞的摄像部,和
控制部,
其中所述控制部以如下方式构成:
使含细胞的试样流经流路,从多个人工智能算法选择人工智能算法,所述人工智能算法接受从拍摄通过所述流路内的细胞的解析对象图像生成的解析用数据的输入,
由选择的所述人工智能算法基于所述解析用数据生成显示所述解析对象图像中所含的所述细胞的性状的数据。
17.细胞解析系统,其具备:
含细胞的试样流经的流路,
从流经所述流路的试样中的细胞取得信号的信号取得部,和
控制部,
其中所述控制部以如下方式构成:
使含细胞的试样流经流路,取得关于通过所述流路内的各细胞的信号强度,
从取得的所述信号强度生成解析用数据,
从多个人工智能算法选择人工智能算法,所述人工智能算法接受所述解析用数据的输入,
由选择的所述人工智能算法基于所述解析用数据生成显示所述细胞的性状的数据。
18.细胞解析系统,其具备:
具备设置涂布含细胞的试样的载玻片的载物台的显微镜,
拍摄由所述显微镜放大的所述试样中的细胞的摄像部,和
控制部,
其中所述控制部以如下方式构成:
从多个人工智能算法选择人工智能算法,所述人工智能算法接受从将涂布在载玻片上的试样中所含的细胞由所述显微镜放大而拍摄的解析对象图像生成的解析用数据的输入,
由选择的所述人工智能算法基于所述解析用数据生成显示所述解析对象图像中所含的所述细胞的性状的数据。
19.对细胞进行解析的细胞解析程序,其使计算机执行包括下列步骤的处理:
从多个人工智能算法选择人工智能算法,所述人工智能算法接受试样中所含的细胞的解析用数据的输入的步骤,及
由选择的所述人工智能算法基于所述解析用数据生成显示所述细胞的性状的数据的步骤。
CN202011328851.0A 2019-11-29 2020-11-24 细胞解析方法、装置、系统及程序 Pending CN112967785A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019217162A JP7545202B2 (ja) 2019-11-29 2019-11-29 細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラム
JP2019-217162 2019-11-29

Publications (1)

Publication Number Publication Date
CN112967785A true CN112967785A (zh) 2021-06-15

Family

ID=73598739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011328851.0A Pending CN112967785A (zh) 2019-11-29 2020-11-24 细胞解析方法、装置、系统及程序

Country Status (4)

Country Link
US (1) US12020492B2 (zh)
EP (1) EP3828761A1 (zh)
JP (1) JP7545202B2 (zh)
CN (1) CN112967785A (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112021019977A2 (pt) 2019-04-11 2021-12-07 Agilent Technologies Inc Interface de usuário configurada para facilitar a anotação de usuário para segmentação de instância dentro de amostra biológica
EP3767587B1 (de) * 2019-07-19 2024-10-23 Euroimmun Medizinische Labordiagnostika AG Detektion von präsenzen unterschiedlicher antinukleärer antikörper-fluoreszenzmustertypen und vorrichtung hierfür
JP7543048B2 (ja) * 2020-09-18 2024-09-02 シスメックス株式会社 細胞分析方法及びシステム
US20220351347A1 (en) * 2021-02-25 2022-11-03 California Institute Of Technology Computational refocusing-assisted deep learning
GB2607604A (en) * 2021-06-08 2022-12-14 Solentim Ltd Brightfield and fluorescence image comparison
JP7283642B1 (ja) * 2021-09-29 2023-05-30 日東紡績株式会社 細胞または細胞核の豊富化方法
CN114067315B (zh) * 2021-10-23 2022-11-29 广州市艾贝泰生物科技有限公司 细胞计数方法、装置、计算机设备和存储介质
WO2023129820A1 (en) * 2021-12-30 2023-07-06 Verily Life Sciences Llc Detecting abnormal cells using autofluorescence microscopy

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090204557A1 (en) * 2008-02-08 2009-08-13 Health Discovery Corporation Method and System for Analysis of Flow Cytometry Data Using Support Vector Machines
CN108362628A (zh) * 2018-01-11 2018-08-03 天津大学 基于偏振衍射成像流式细胞仪的无标记细胞流式分选方法
US20190156481A1 (en) * 2017-11-17 2019-05-23 Sysmex Corporation Image analysis method, apparatus, program, and learned deep learning algorithm

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6043039A (en) 1998-02-17 2000-03-28 Applied Spectral Imaging Method of and composite for in situ fluorescent hybridization
JP4852890B2 (ja) 2005-05-31 2012-01-11 株式会社ニコン 細胞の自動良否判定システム
US20100053211A1 (en) * 2008-06-27 2010-03-04 Vala Sciences, Inc. User interface method and system with image viewer for management and control of automated image processing in high content screening or high throughput screening
EP2764468A4 (en) 2011-10-05 2015-11-18 Cireca Theranostics Llc PROCESS FOR ANALYZING BIOLOGICAL SAMPLES BY SPECTRAL IMAGING
EP3441767B1 (en) * 2012-03-28 2021-02-24 On-chip Biotechnologies Co., Ltd. Apparatus for detecting degree of malignancy of circulating tumor cell unit, and kit for same
US9309410B2 (en) 2013-08-28 2016-04-12 Xerox Corporation Colorant compounds
JP6619732B2 (ja) 2013-10-28 2019-12-11 モレキュラー デバイシーズ, エルエルシー 顕微鏡画像内の個々の細胞を分類および識別するための方法およびシステム
WO2016118915A1 (en) * 2015-01-22 2016-07-28 Becton, Dickinson And Company Devices and systems for molecular barcoding of nucleic acid targets in single cells
WO2017061155A1 (ja) 2015-10-08 2017-04-13 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
JP2017108738A (ja) 2015-12-15 2017-06-22 東ソー株式会社 細胞検出装置および細胞回収装置
EP3455789A1 (en) 2016-06-10 2019-03-20 Amnis Corporation A method to combine brightfield and fluorescent channels for cell image segmentation and morphological analysis using images obtained from imaging flow cytometer (ifc)
JP6680653B2 (ja) 2016-09-12 2020-04-15 シスメックス株式会社 顕微鏡装置、顕微鏡システムおよび撮像方法
JP7030423B2 (ja) 2017-04-27 2022-03-07 シスメックス株式会社 画像解析方法、装置、プログラムおよび深層学習アルゴリズムの製造方法
JP7076698B2 (ja) 2017-11-17 2022-05-30 国立研究開発法人国立がん研究センター 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090204557A1 (en) * 2008-02-08 2009-08-13 Health Discovery Corporation Method and System for Analysis of Flow Cytometry Data Using Support Vector Machines
US20190156481A1 (en) * 2017-11-17 2019-05-23 Sysmex Corporation Image analysis method, apparatus, program, and learned deep learning algorithm
CN108362628A (zh) * 2018-01-11 2018-08-03 天津大学 基于偏振衍射成像流式细胞仪的无标记细胞流式分选方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LUO ET AL: "A High Performance of Single Cell Imaging Detection with Deep Learning", 2019 IEEE 4TH INTERNATIONAL CONFERENCE ON IMAGE, VISION AND COMPUTING, 5 July 2019 (2019-07-05), pages 356 - 360, XP033704708, DOI: 10.1109/ICIVC47709.2019.8981372 *

Also Published As

Publication number Publication date
JP7545202B2 (ja) 2024-09-04
US12020492B2 (en) 2024-06-25
US20210164883A1 (en) 2021-06-03
EP3828761A1 (en) 2021-06-02
JP2021083431A (ja) 2021-06-03

Similar Documents

Publication Publication Date Title
CN112967785A (zh) 细胞解析方法、装置、系统及程序
CN102257379B (zh) 分析荧光颗粒的方法及装置
CN112881267A (zh) 细胞解析方法、装置、系统及程序、以及训练的人工智能算法的生成方法、装置及程序
EP2524221B1 (en) Systems for counting cells and biomolecules
US20120075453A1 (en) Method for Detecting and Quantitating Multiple-Subcellular Components
JPH08507678A (ja) 細胞遺伝子の分析法
US20140221227A1 (en) Automated cancer diagnostic methods using fish
CN110226084A (zh) 用于细胞捕获的系统、装置和方法,以及其制造方法
US7901887B2 (en) Automated cancer diagnostic methods using fish
KR20020013970A (ko) 마이크로볼륨 레이져 스캐닝 세포계측을 위한 시스템
US20240301342A1 (en) Cell treatment system, cell treatment method, and learning data creation method
JP4630015B2 (ja) 細胞分離回収方法および細胞分離チップおよび細胞分離装置
AU2005289765A1 (en) Method for detecting and quantitating multiple subcellular components
WO2023189281A1 (ja) 情報処理装置、情報処理方法、細胞培養システム、及びプログラム
Tarnok et al. Multicolor immunophenotyping of tissue sections by Laser Scanning Cytometry (LSC)
Valet et al. Cytomics: From cell States to predictive medicine
Kim et al. Cellular imaging-based biological analysis for cancer diagnostics and drug target development

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination