WO2022034830A1 - 情報処理装置、フローサイトメータシステム、分取システム、及び情報処理方法 - Google Patents
情報処理装置、フローサイトメータシステム、分取システム、及び情報処理方法 Download PDFInfo
- Publication number
- WO2022034830A1 WO2022034830A1 PCT/JP2021/028740 JP2021028740W WO2022034830A1 WO 2022034830 A1 WO2022034830 A1 WO 2022034830A1 JP 2021028740 W JP2021028740 W JP 2021028740W WO 2022034830 A1 WO2022034830 A1 WO 2022034830A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- information processing
- learning model
- unit
- dimensional compression
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 128
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000007906 compression Methods 0.000 claims abstract description 156
- 230000006835 compression Effects 0.000 claims abstract description 155
- 238000013528 artificial neural network Methods 0.000 claims abstract description 32
- 239000000126 substance Substances 0.000 claims abstract description 18
- 238000005259 measurement Methods 0.000 claims description 123
- 239000002245 particle Substances 0.000 claims description 47
- 239000007850 fluorescent dye Substances 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 25
- 239000012620 biological material Substances 0.000 claims description 5
- 230000004044 response Effects 0.000 abstract description 2
- 210000004027 cell Anatomy 0.000 description 46
- 230000003287 optical effect Effects 0.000 description 33
- 238000001514 detection method Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 19
- 238000000034 method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 210000001519 tissue Anatomy 0.000 description 9
- 238000000799 fluorescence microscopy Methods 0.000 description 8
- 239000004065 semiconductor Substances 0.000 description 6
- 238000004043 dyeing Methods 0.000 description 5
- 239000003814 drug Substances 0.000 description 4
- 238000007639 printing Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010186 staining Methods 0.000 description 4
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 description 2
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 239000000427 antigen Substances 0.000 description 2
- 102000036639 antigens Human genes 0.000 description 2
- 108091007433 antigens Proteins 0.000 description 2
- 229960002685 biotin Drugs 0.000 description 2
- 239000011616 biotin Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000002189 fluorescence spectrum Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 244000005700 microbiome Species 0.000 description 2
- 210000003463 organelle Anatomy 0.000 description 2
- 108090001008 Avidin Proteins 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000588724 Escherichia coli Species 0.000 description 1
- 241000233866 Fungi Species 0.000 description 1
- 239000004793 Polystyrene Substances 0.000 description 1
- 240000004808 Saccharomyces cerevisiae Species 0.000 description 1
- 241000723873 Tobacco mosaic virus Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000004102 animal cell Anatomy 0.000 description 1
- 235000020958 biotin Nutrition 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 238000012757 fluorescence staining Methods 0.000 description 1
- 238000001215 fluorescent labelling Methods 0.000 description 1
- 239000007863 gel particle Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 210000003701 histiocyte Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910010272 inorganic material Inorganic materials 0.000 description 1
- 239000011147 inorganic material Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004816 latex Substances 0.000 description 1
- 229920000126 latex Polymers 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 239000002502 liposome Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000696 magnetic material Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 210000003470 mitochondria Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 239000004926 polymethyl methacrylate Substances 0.000 description 1
- 229920005553 polystyrene-acrylate Polymers 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000000377 silicon dioxide Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/01—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1434—Optical arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1456—Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals
- G01N15/1459—Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals the analysis being performed on a sample stream
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/149—Optical investigation techniques, e.g. flow cytometry specially adapted for sorting particles, e.g. by their size or optical properties
- G01N15/1492—Optical investigation techniques, e.g. flow cytometry specially adapted for sorting particles, e.g. by their size or optical properties within droplets
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/49—Scattering, i.e. diffuse reflection within a body or fluid
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/149—Optical investigation techniques, e.g. flow cytometry specially adapted for sorting particles, e.g. by their size or optical properties
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N2015/1402—Data analysis by thresholding or gating operations performed on the acquired signals or stored data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N2015/1477—Multiparameters
Definitions
- This disclosure relates to an information processing device, a flow cytometer system, a preparative system, and an information processing method.
- the flow cytometer is an analyzer that measures the characteristics of particles by irradiating particles flowing through a flow path called a flow cell with light and analyzing the fluorescence and scattered light emitted from the particles.
- an analyzer such as a flow cytometer and a fluorescence microscope
- fluorescence from a plurality of fluorescent dyes is separated, and the dispersed fluorescence is detected by a light receiving element array in which a plurality of light receiving elements having different detection wavelength ranges are arranged. Detected. Therefore, in an analyzer such as a flow cytometer and a fluorescence microscope, the measurement data is multidimensional data including the detection value in each of the light receiving elements.
- various proposals have been made for a method for analyzing multidimensional data (for example, Patent Document 1).
- an analyzer that acquires multidimensional data, it is desired to compress the multidimensional data more quickly and with high accuracy in order to facilitate the analysis of the multidimensional data.
- a first information processing apparatus relates to input data based on a learning model generated by a neural network in which the same data acquired from a biological substance is applied to an input layer and an output layer. It is provided with a dimensional compression unit that generates dimensional compression data.
- the second information processing apparatus includes a learning unit that generates a learning model by a neural network in which the same multidimensional data acquired from a biological substance is applied to an input layer and an output layer.
- the flow cytometer system includes a laser light source that irradiates light from biological particles flowing in a flow path, a light detector that detects light from biological particles, and a light detector.
- the training model includes a dimensional compression unit that generates dimensional compression data for the measurement data obtained by the optical detector, and the training model inputs the same data acquired from a biological substance into an input layer and an output layer. Generated by a neural network applied to.
- the preparative system includes a laser light source that irradiates light to biological particles flowing in a flow path, a light detector that detects light from biological particles, and learning.
- a learning model provided with a dimensional compression unit that generates dimensional compression data for the measurement data obtained by the optical detector based on the model, and a distribution unit that separates biological particles based on the dimensional compression data. Is generated by a neural network that applies the same data obtained from biological material to the input and output layers.
- the information processing method is input based on a learning model generated by a neural network in which the same data acquired from a biological substance is applied to an input layer and an output layer by an arithmetic processing device. Includes generating dimensionally compressed data for the data.
- a computer is subjected to dimension compression on input data based on a learning model generated by a neural network in which the same data acquired from a biological substance is applied to an input layer and an output layer. It functions as a dimension compression unit that generates data.
- the learning model generated by the neural network to which the same data is applied to the input layer and the output layer is used. Based on this, dimensionally compressed data for input data or measurement data is generated.
- the input data or the measurement data can be dimensionally compressed by a dimensional compression method that does not perform probabilistic processing using a learning model that has already been trained.
- FIG. 1 is a schematic diagram showing a schematic configuration of the flow cytometer 10.
- the flow cytometer 10 includes a laser light source 11, a flow cell 12, a detection optical unit 13, and a photodetector 14.
- the flow cytometer 10 irradiates the measurement target S passing through the flow cell 12 with the laser light from the laser light source 11, and the fluorescence or scattered light from each of the measurement targets S is dispersed by the detection optical unit 13. As a result, the flow cytometer 10 can detect the fluorescence or scattered light spectroscopically separated by the detection optical unit 13 by the photodetector 14.
- the measurement target S of the flow cytometer 10 is, for example, biological particles such as cells, tissues, microorganisms, or biological particles stained with a plurality of fluorescent dyes.
- the cell may be an animal cell (blood cell lineage cell), a plant cell, or the like.
- the tissue may be a tissue collected from a human body or the like, or a part of the tissue (including histiocytes).
- the microorganism may be a bacterium such as Escherichia coli, a virus such as tobacco mosaic virus, or a fungus such as yeast.
- bio-related particles may be various organelles (organelles) such as chromosomes, liposomes, or mitochondria that compose cells, and are bio-related such as nucleic acids, proteins, lipids, sugar chains, or complexes thereof. It may be a polymer. These biological particles may have either a spherical shape or a non-spherical shape, and are not particularly limited in size or mass.
- organelles organelles
- chromosomes such as chromosomes, liposomes, or mitochondria that compose cells
- bio-related such as nucleic acids, proteins, lipids, sugar chains, or complexes thereof. It may be a polymer.
- These biological particles may have either a spherical shape or a non-spherical shape, and are not particularly limited in size or mass.
- the measurement target S of the flow cytometer 10 may be artificial particles such as latex particles, gel particles, or industrial particles.
- the industrial particles may be particles synthesized from an organic resin material such as polystyrene or polymethylmethacrylate, an inorganic material such as glass, silica, or a magnetic material, or a metal such as colloidal gold or aluminum.
- these artificial particles may have either a spherical shape or a non-spherical shape, and the size or mass is not particularly limited.
- the measurement target S can be stained (labeled) with a plurality of fluorescent dyes in advance. Labeling of the measurement target S with a fluorescent dye can be performed by a known method. Specifically, when the measurement target S is a cell, the fluorescent label of the measurement target cell is a mixture of a fluorescently labeled antibody that selectively binds to an antigen present on the cell surface and the measurement target cell. , It can be carried out by binding a fluorescently labeled antibody to an antigen on the cell surface. Alternatively, the fluorescent labeling of the cell to be measured can be performed by mixing the fluorescent dye selectively taken up by a specific cell with the cell to be measured and causing the cell to take up the fluorescent dye.
- the fluorescently labeled antibody is an antibody to which a fluorescent dye is bound as a label.
- the fluorescently labeled antibody may be one in which a fluorescent dye is directly bound to the antibody.
- the fluorescently labeled antibody may be one in which a fluorescent dye obtained by binding avidin to a biotin-labeled antibody is bound by an avidin-biotin reaction.
- the antibody may be either a polyclonal antibody or a monoclonal antibody, and the fluorescent dye may be a known dye used for cell staining or the like.
- the laser light source 11 emits, for example, a laser beam having a wavelength capable of exciting the fluorescent dye used for dyeing the measurement target S.
- a plurality of laser light sources 11 may be provided according to the excitation wavelength of each of the plurality of fluorescent dyes.
- the laser light source 11 may be a semiconductor laser light source.
- the laser light emitted from the laser light source 11 may be pulsed light or continuous light.
- the flow cell 12 is a flow path for aligning the measurement target S such as cells in one direction and allowing them to flow. Specifically, the flow cell 12 can align the measurement target S in one direction and allow the measurement target S to flow by flowing the sheath liquid wrapping the sample liquid containing the measurement target S as a laminar flow at high speed.
- the measurement target S passing through the flow cell 12 is irradiated with the laser beam from the laser light source 11.
- the fluorescence or scattered light from the measurement target S irradiated with the laser beam passes through the detection optical unit 13 and then is detected by the photodetector 14.
- the detection optical unit 13 is an optical element that causes the light in a predetermined detection wavelength range of the light emitted from the measurement target S irradiated with the laser beam to reach the photodetector 14.
- the detection optical unit 13 may be, for example, a prism or a grating.
- the detection optical unit 13 may be an optical element that separates the fluorescence emitted from the measurement target S irradiated with the laser beam into each predetermined detection wavelength range.
- the detection optical unit 13 includes, for example, at least one dichroic mirror or an optical filter.
- the detection optical unit 13 can separate the fluorescence from the measurement target S into light in a predetermined detection wavelength range by an optical member such as a dichroic mirror and an optical filter. Therefore, the light in a predetermined detection wavelength range separated by the detection optical unit 13 can be detected by the corresponding photodetector 14.
- the photodetector 14 includes a group of light receiving elements that detect fluorescence or scattered light emitted from the measurement target S irradiated with laser light.
- the light receiving element group detects a plurality of light receiving elements such as a photomultiplier tube (PMT: Photomultiplier Tube) or a photodiode having different detectable light wavelength ranges, and is one-dimensional along the light separation direction by the detection optical unit 13. It may be a light receiving element array arranged in.
- the photodetector 14 includes, for example, a plurality of light receiving elements having the same number as the fluorescent dye so as to receive light corresponding to the wavelength range of the fluorescent dye separated by the detection optical unit 14. It may be composed of.
- the photodetector 14 may include an image sensor such as a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal-Oxide-Semiconducor) sensor, for example.
- the photodetector 14 can acquire an image of the measurement target S (for example, a bright field image, a dark field image, a fluorescent image, etc.) by the image pickup device.
- fluorescence and scattered light are emitted from the measurement target S irradiated with the laser light from the laser light source 11.
- the fluorescence and scattered light emitted by the measurement target S are separated by the detection optical unit 13 and then detected by the photodetector 14.
- the fluorescence emitted by the measurement target S is detected by each of a plurality of light receiving elements having different wavelength ranges of light that can be detected.
- the scattered light emitted by the measurement target S is detected as forward scattered light and lateral scattered light. Therefore, the detection result in the flow cytometer 10 is acquired as multidimensional data.
- FIG. 2 is a block diagram showing a functional configuration of the information processing apparatus 100 according to the present embodiment.
- the information processing apparatus according to the present embodiment makes it easier to analyze the measurement results by dimensionally compressing the measurement results of the flow cytometer 10 or the like output as multidimensional data with a learning model generated by machine learning. Allows you to do.
- the flow cytometer system includes a flow cytometer 10 and an information processing device 100.
- the information processing apparatus 100 includes, for example, an input unit 110, a learning unit 120, a learning model storage unit 130, a dimension compression unit 140, and an output unit 150.
- the input unit 110 is an input port for inputting multidimensional data as input data to the information processing apparatus 100.
- the input unit 110 is a connection port capable of receiving various data from an external device such as a flow cytometer 10.
- the input unit 110 may be a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface) port, or the like.
- the multidimensional data input to the input unit 110 may include, for example, data regarding the amount of light received by each light receiving element included in the photodetector 14 of the flow cytometer 10.
- the data regarding the light receiving amount corresponds to the data regarding the expression amount of the fluorescent dye (Area, Height, or Wid of the light receiving pulse). May be good.
- the multidimensional data input to the input unit 110 may include data on the expression level of the fluorescent dye calculated by analyzing the fluorescence spectrum measured by the light receiving element array.
- the multidimensional data may further include data regarding the detection intensity of forward scattered light or side scattered light.
- the learning unit 120 generates a learning model for dimensionally compressing multidimensional data. Specifically, the learning unit 120 generates a learning model for dimensionally compressing multidimensional data without performing probabilistic processing.
- a dimensional compression method such as t-SNE (t-distributed Stochastic Neighbor Embedding) uses a probability distribution in the process of dimensional compression, so that the reproducibility is low and each dimensional compression process is performed.
- the result of dimensional compression can change.
- a dimensional compression method such as t-SNE
- the shape and arrangement of each cluster as a result of dimensional compression may change even when the same multidimensional data is input.
- the shape of the cluster as a result of the dimensional compression may be distorted or the cluster may be divided. Therefore, in a dimensional compression method such as t-SNE, it is difficult to compare the dimensional compression results among a plurality of multidimensional data, and it is difficult to find an unknown cluster, for example.
- dimensional compression without probabilistic processing can reversibly perform dimensional compression and restoration without using a probability distribution or random numbers, so the result of dimensional compression is highly reproducible. Therefore, in dimensional compression without probabilistic processing, it is possible to compare the results of dimensional compression among a plurality of multidimensional data. According to this, the information processing apparatus 100 according to the present embodiment can more easily identify a group (cluster) included in the multidimensional data by comparing the dimensional compression results of the plurality of multidimensional data. It will be possible.
- the learning unit 120 generates a learning model by a neural network in which the same multidimensional data is applied to the input layer and the output layer as a learning model for dimensionally compressing the multidimensional data.
- the learning model generated by the learning unit 120 will be specifically described with reference to FIG.
- FIG. 3 is an explanatory diagram illustrating a learning model generated by the learning unit 120.
- the input layer IL, the intermediate layer HL having at least one or more layers having a smaller number of nodes than the input layer IL, and the input layer IL and the number of nodes are the same.
- a learning model may be generated using a neural network including an output layer OL.
- the neural network including such an input layer IL, an intermediate layer HL, and an output layer OL is a so-called autoencoder AE.
- the learning unit 120 applies the same multidimensional data to the input layer IL and the output layer OL, and optimizes the network structure and weighting of the autoencoder AE.
- the learning unit 120 optimizes the network structure and weighting of the autoencoder AE so that the difference between the multidimensional data input to the input layer IL and the multidimensional data output from the output layer OL is minimized. do.
- the learning unit 120 can generate an autoencoder AE with optimized network structure and weighting as a learning model.
- the autoencoder AE includes an encoder unit from the input layer IL to the intermediate layer HL and a decoder unit from the intermediate layer HL to the output layer OL.
- the value of each dimension of the multidimensional data is input to each node of the input layer IL, so that the feature of the multidimensional data is in the intermediate layer HL, which has fewer nodes than the input layer IL, by the neural network. It is compressed (encoded). Therefore, in the intermediate layer HL, the features of the multidimensional data are compressed into a smaller number of nodes than the input layer IL (that is, a number of dimensions lower than the number of dimensions of the multidimensional data). That is, the value of each node of the intermediate layer HL is dimensionally compressed data obtained by dimensionally compressing the multidimensional data.
- the characteristics of the multidimensional data compressed in the intermediate layer HL are restored (decoded) to the output layer OL in which the number of nodes is the same as that of the input layer IL by the neural network. Since the multidimensional data applied to the output layer OL is the same as the multidimensional data applied to the input layer IL, the autoencoder AE reversibly compresses (encodes) and restores (decodes) the multidimensional data. )can do.
- the intermediate layer HL may be present in two or more layers.
- the encoder unit is from the input layer IL to the intermediate layer HL having the smallest number of nodes among the plurality of intermediate layer HLs, and from the intermediate layer HL having the smallest number of nodes among the plurality of intermediate layer HLs.
- the decoder section is up to the output layer OL. Further, the value of each node of the intermediate layer HL having the smallest number of nodes among the plurality of intermediate layer HLs becomes the dimensional compressed data obtained by dimensionally compressing the multidimensional data.
- the learning unit 120 uses, for example, a neural network in which the number of nodes in the intermediate layer HL is 2 or 3, and obtains a learning model that compresses multidimensional data into two or three dimensions that are easy for the user to see. Can be generated.
- the multidimensional data used for optimizing the autoencoder AE may be the multidimensional data of the measurement result measured by the flow cytometer 10 or the like immediately before, and is measured in advance by the flow cytometer 10 or the like. It may be past multidimensional data.
- the learning model storage unit 130 stores the learning model generated by the learning unit 120. Specifically, the learning model storage unit 130 stores the network structure and weighting of the neural network after learning as a learning model.
- the learning model storage unit 130 may be composed of, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
- the learning unit 120 and the learning model storage unit 130 may be provided in a server or cloud outside the information processing device 100.
- the information processing apparatus 100 generates a learning model by the learning unit 120 on the server or the cloud by transmitting multidimensional data to the server or the cloud via the network, and the learning model storage unit on the server or the cloud.
- the learning model may be stored at 130.
- the dimensional compression unit 140 which will be described later, can perform dimensional compression of multidimensional data by referring to the learning model stored in the learning model storage unit 130 on the server or the cloud via the network. It is possible.
- the dimensional compression unit 140 generates dimensional compression data by dimensionally compressing the multidimensional data input to the input unit 110 using the learning model generated by the learning unit 120. Specifically, the dimensional compression unit 140 sets the value of each node of the intermediate layer HL when the multidimensional data is input to each node of the input layer IL of the autoencoder AE, which is a learning model, as the dimensional compression data of the multidimensional data. Is output as. As a result, the dimensional compression unit 140 can generate dimensional compression data that includes the characteristics of the multidimensional data and has a smaller number of dimensions than the multidimensional data. For example, the dimensional compression unit 140 may generate two-dimensional or three-dimensional compressed data that is easy for the user to see.
- the output unit 150 may be a device capable of presenting the dimensional compressed data to the user.
- the output unit 150 may be, for example, a display device such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an OLED (Organic Light Emitting Display), a hologram, or a projector, and may be a printing device such as a printer device. May be.
- the output unit 150 can output the dimensional compression data as a scatter diagram plotted on the two-dimensional coordinates or the three-dimensional coordinates.
- the output unit 150 may be an external output port that outputs the dimensional compressed data to an external device capable of presenting the dimensional compressed data to the user.
- the output unit 150 may be, for example, a connection port such as a USB port, an IEEE1394 port, or a SCSI port capable of transmitting multidimensional compressed data to the outside.
- the multidimensional data including the fluorescence intensity or the scattered light intensity of the biological particles (for example, cells) obtained by the flow cytometer 10 or the like can be easily visually recognized by the user in three dimensions or less. It can be dimensionally compressed into the data of. Further, since the dimensional compression by the information processing apparatus 100 does not perform probabilistic processing and the reproducibility of the dimensional compression result is high, it is possible to compare the dimensional compression results of a plurality of multidimensional data. According to this, the information processing apparatus 100 can make the user more easily analyze the measurement result of the flow cytometer 10 or the like.
- FIG. 4 is a flowchart showing an example of the operation flow of the information processing apparatus 100 according to the present embodiment.
- multidimensional data is acquired by the input unit 110 (S101).
- the acquired multidimensional data may be multidimensional data measured immediately before by the flow cytometer 10 or the like, or may be multidimensional data previously measured by the flow cytometer 10 or the like.
- the autoencoder AE is learned by the learning unit 120 using the acquired multidimensional data (S102).
- the autoencoder AE is composed of, for example, a neural network in which the number of nodes in the input layer IL and the output layer OL is the same as the number of dimensions of the multidimensional data, and the number of nodes in the intermediate layer HL is 3 or less.
- the learned learning model of the autoencoder (that is, the network structure and weighting of the autoencoder) is stored in the learning model storage unit 130 (S103).
- the multidimensional data is dimensionally compressed to, for example, three dimensions or less by the dimensional compression unit 140 (S104).
- the dimensional compressed data obtained by dimensionally compressing the multidimensional data is output to the outside of the information processing apparatus 100 via the output unit 150 (S105).
- the user can confirm the multidimensional data compressed in three dimensions or less, which is easy to visually recognize.
- the simulator generated 8-dimensional multidimensional data that imitated the measurement results of the flow cytometer 10. Specifically, the results of measuring a total of 9000 cell populations including 1000 cells single-stained with eight different fluorescent dyes and 1000 unstained cells with a flow cytometer 10 were simulated. Eight-dimensional multidimensional data was generated. A part of the generated 8-dimensional multidimensional data is illustrated in Table 1 below. Note that Ch1 to Ch8 indicate outputs from each light receiving element of the light receiving element array included in the photodetector 14.
- the autoencoder AE having 8 nodes in the input layer IL and the output layer OL and 2 nodes in the intermediate layer HL of one layer provided between the input layer IL and the output layer OL is used by the simulator.
- a learning model was generated by applying the generated 8-dimensional multidimensional data.
- the network structure and weighting of the autoencoder AE have been optimized so that the difference between the multidimensional data input to the input layer IL and the multidimensional data output from the output layer OL is minimized. This made it possible to generate a learning model of the autoencoder AE with optimized network structure and weighting.
- the learning time for generating the learning model was 439.2 seconds.
- FIG. 5 shows the results of plotting the two-dimensional data output from the intermediate layer HL on the vertical axis and the horizontal axis. That is, FIG. 5 is a graph showing the result of dimensional compression by the information processing apparatus 100 according to the present embodiment.
- FIG. 6 shows the results of plotting the two-dimensional data obtained by compressing the same 8-dimensional multidimensional data by t-SNE on the vertical axis and the horizontal axis. That is, FIG. 6 is a graph showing the result of dimensional compression according to the comparative example.
- the dimensional compression by the information processing apparatus 100 is different from the dimensional compression by t-SNE as a group (in-cluster connection), and a group and another group. It can be seen that good results can be obtained as clustering because the distance (separation outside the cluster) can be made good.
- the goodness of clustering is indicated as an index using the distribution within the cluster indicating intra-cluster coupling and the inter-cluster distance indicating extra-cluster separation (the smaller the numerical value, the better the clustering).
- the index was 0.13.
- the index was 1.13. Therefore, according to the information processing apparatus 100 according to the present embodiment, it can be seen that the multidimensional data can be dimensionally compressed with higher accuracy.
- the processing time of the dimensional compression by the t-SNE was 53.5 seconds, while the processing time of the dimensional compression by the information processing apparatus 100 according to the present embodiment was 0.64 seconds.
- the processing time when dimensionally compressing the multidimensional data can be significantly reduced.
- the information processing apparatus 100 generates a learning model in advance, and uses the generated learning model to dimensionally compress the multidimensional data without performing probabilistic processing. It is possible to compress multidimensional data at higher speed and with higher accuracy.
- FIG. 7 is a block diagram showing a functional configuration of the information processing apparatus 101 according to the present embodiment.
- the information processing apparatus according to the present embodiment can perform dimensional compression at high speed even for new multidimensional data by using the learning model learned by the information processing apparatus 100 according to the first embodiment.
- the flow cytometer system includes a flow cytometer 10 and an information processing device 101.
- the information processing apparatus 101 includes, for example, an input unit 110, a learning model storage unit 130, a dimensional compression unit 140, and an output unit 150.
- the information processing apparatus 101 according to the present embodiment does not include the learning unit 120, and by using a learning model that has already been learned, it is possible to perform dimensional compression on new multidimensional data at high speed.
- the input unit 110, the dimensional compression unit 140, and the output unit 150 are substantially the same as the configuration described in the information processing apparatus 100 according to the first embodiment, the description thereof is omitted here.
- the learning model storage unit 130 stores a learning model for dimensionally compressing multidimensional data.
- the learning model storage unit 130 includes an input layer IL, at least one intermediate layer HL having a smaller number of nodes than the input layer IL, and an input layer IL, as in the first embodiment.
- the autoencoder AE using the neural network including the output layer OL having the same number of nodes is stored as a learning model.
- the autoencoder AE stored as a learning model in the learning model storage unit 130 is learned by, for example, the information processing apparatus 100 according to the first embodiment, and the network structure and weighting are optimized. Therefore, the dimensional compression unit 140 in the subsequent stage can dimensionally compress the multidimensional data acquired by the input unit 110, similarly to the information processing apparatus 100 according to the first embodiment.
- the learning model storage unit 130 may be provided in a server or cloud outside the information processing device 101.
- the information processing apparatus 101 may perform dimensional compression of multidimensional data by referring to the learning model stored in the learning model storage unit 130 on the server or the cloud via the network.
- the information processing apparatus 101 having the above configuration, it is possible to analyze the measurement result of the flow cytometer 10 or the like in a shorter time by using the learning model that has already been learned.
- FIG. 8 is a flowchart showing an example of the operation flow of the information processing apparatus 101 according to the present embodiment.
- the measurement data is acquired from the flow cytometer (FCM) 10 at the input unit 110 (S201).
- the measurement data is, for example, multidimensional data including data on the fluorescence intensity and the scattered light intensity measured by the photodetector 14 of the flow cytometer 10.
- the measurement data is dimensionally compressed in the dimensional compression unit 140 to, for example, three or less dimensions (S202).
- the dimensionally compressed data obtained by dimensionally compressing the measurement data is output to the outside of the information processing apparatus 101 via the output unit 150 (S203).
- the user can confirm the measurement data compressed to three dimensions or less, which is easy to visually recognize, and analyze the measurement result of the flow cytometer 10 or the like.
- the above-mentioned 8-dimensional multidimensional data was input to the input layer IL, and the data of the intermediate layer HL was output. ..
- the results of plotting the two-dimensional data output from the intermediate layer HL on the vertical and horizontal axes are shown on the right side of FIG.
- the dimensional compression data of the 9000 cell population shown in FIG. 5 in the above (1.4. Example of dimensional compression) is shown.
- the two additional 1000 cell populations are combined with the unknown clusters UC1 and UC2 in the same manner as the dimensional compression by t-SNE. Can be clustered as.
- the reproducibility of the dimensional compression is high, so that the arrangement and shape of the clusters are almost unchanged. Therefore, according to the dimensional compression by the information processing apparatus 101 according to the present embodiment, it is easy to determine which cluster the two additional 1000 cell populations correspond to based on the shape and arrangement of the clusters. Is possible.
- the information processing apparatus 101 dimensionally compresses the multidimensional data without performing probabilistic processing using the learning model generated in advance, thereby producing the multidimensional data. Dimensional compression is possible at high speed. Further, in the information processing apparatus 101 according to the present embodiment, since the reproducibility of the dimensional compression is high, it is possible to discover an unknown cluster more quickly and easily.
- Such comparison between measurement data can be used, for example, to compare a sample collected from a patient (for example, blood) with a sample collected from a healthy person. According to this, it is possible to easily identify a cell population that is specifically expressed in a patient. Further, the comparison between the measurement data can be used for comparison between samples collected from the same patient on different dates, or comparison between the measurement data of the sample actually collected from the patient and the model data. Furthermore, comparisons between measurement data can be used to compare cell samples cultured under different conditions. According to this, since changes in the cell sample due to the presence or absence of different drugs can be easily detected, it is possible to easily determine the response of the drug to the cell sample.
- FIG. 11 is a block diagram showing a functional configuration of the preparative system according to the present embodiment.
- the sorting system according to the present embodiment can quickly sort a specific group of the measurement targets S by using the dimension compression by the learning model described in the information processing apparatus 100 according to the first embodiment. It is possible.
- the sorting system according to the present embodiment is a so-called cell sorter capable of sorting a specific group of the measurement target S.
- the sorting system 20 includes an information processing device 102 and a sorting device 200.
- the information processing device 102 includes an input unit 110, a learning unit 120, a learning model storage unit 130, a dimension compression unit 140, an output unit 150, and a group identification unit 160.
- the input unit 110, the learning unit 120, the learning model storage unit 130, the dimensional compression unit 140, and the output unit 150 are substantially the same as the configurations described in the information processing apparatus 100 according to the first embodiment. , The description here is omitted.
- the dimensional compression result of the multidimensional data output from the output unit 150 is visually recognized by the user as, for example, a two-dimensional or three-dimensional graph. From the dimensional compression result, the user can confirm the number of a plurality of groups (clusters) included in the measurement target S, the variance within the cluster, and the distance between the clusters.
- the group specifying unit 160 specifies the group of the measurement target S to be sorted by the sorting device 200 based on the designation from the user. For example, the group specifying unit 160 identifies the group of the measurement target S to be sorted based on the group or range specified by the user on the two-dimensional or three-dimensional graph of the dimension compression result.
- the preparative device 200 includes an input unit 210, a dimensional compression unit 240, a preparative control unit 270, and a preparative unit 280. Further, the sorting device 200 may include a laser light source 11, a flow cell 12, a detection optical unit 13, and a photodetector 14, similarly to the flow cytometer 100. The preparative device 200 determines in real time whether or not the measurement target S is a preparative target based on the measurement data of the measurement target S, and separates the group of the measurement target S, which is the preparative target, from the other groups. Can be obtained.
- the input unit 210 acquires the measurement data of the measurement target S from the photodetector 14 and the like. Specifically, the input unit 210 acquires the measurement data of each of the particles of the measurement target S as multidimensional data. For example, the input unit 210 may acquire measurement data regarding the fluorescence intensity or the scattered light intensity for each wavelength range of the particles of the measurement target S as multidimensional data.
- the dimensional compression unit 240 dimensionally compresses the measurement data of the measurement target S input to the input unit 210 by using the learning model stored in the learning model storage unit 130.
- the dimensional compression unit 240 performs dimensional compression using the same learning model as the dimensional compression unit 140 of the information processing device 102, so that the preparative device 200 is the information processing device 102.
- the same dimensional compression result can be obtained.
- the learning model stored in the learning model storage unit 130 may be a learning model learned using the measurement target S including the group to be sorted, or a learning model learned in advance using other samples or the like. May be.
- the preparative control unit 270 determines whether or not the measurement target S for which the measurement data has been acquired is a preparative target based on the dimensional compression result of the measurement data by the dimensional compression unit 240, and the measurement determined to be the preparative target.
- the sorting unit 280 is controlled so as to sort the target S. Specifically, the preparative control unit 270 determines whether or not the dimensional compression result of the measurement data by the dimensional compression unit 240 is included in the designated group or range based on the dimensional compression result by the dimensional compression unit 140. By doing so, it may be determined whether or not the measurement target S is a sampling target.
- the preparative unit 280 separates the measurement target S determined to be the preparative target by the preparative control unit 270 from the other measurement target S. Specifically, the preparative unit 280 charges a droplet containing the measurement target S determined to be the preparative target and passes it between a pair of deflection plates to which a voltage is applied. As a result, the preparative unit 280 can separate the droplet containing the measurement target S determined to be the preparative target from the droplet containing the other measurement target S by the electrostatic attraction. The droplets containing the separated measurement target S are collected, for example, in a sorting well or tube.
- the dimensional compression unit 140 of the information processing apparatus 102 and the dimensional compression unit 240 of the preparative apparatus 200 are used.
- a similar dimensional compression result can be obtained with. Therefore, the preparative control unit 270 can determine from the dimensional compression result by the dimensional compression unit 240 whether or not the measurement target S is a preparative target designated based on the dimensional compression result by the dimensional compression unit 140. can.
- the dimensional compression unit 140 and the dimensional compression unit 240 perform dimensional compression using a learning model that has already been learned, so that the dimensional compression result can be obtained quickly in a short time. Can be done. Therefore, the preparative system 20 according to the present embodiment quickly compresses the dimensions of the measurement data even within the time constraint from the measurement process to the preparative process, and determines whether or not the measurement target S is the preparative target. It can be determined.
- the preparative system 20 having the above configuration, by using a trained learning model with high reproducibility of dimensional compression, dimensional compression can be performed more quickly and with high accuracy, so that it is specified from the dimensional compression result. It is possible to sort the measurement target S of the sorted target with high accuracy.
- FIG. 12 is a flowchart showing an example of the operation flow of the preparative system 20 according to the present embodiment.
- the measurement data is acquired from the flow cytometer (FCM) 10 at the input unit 110 (S301).
- the measurement data is, for example, multidimensional data including data on the fluorescence intensity and the scattered light intensity measured by the photodetector 14 of the flow cytometer 10.
- the measurement data is dimensionally compressed in the dimensional compression unit 140 to, for example, three or less dimensions (S302).
- the dimensionally compressed data obtained by dimensionally compressing the measurement data is output to the outside of the information processing apparatus 102 via the output unit 150.
- the user identifies the group to be sorted based on the output dimensional compressed data (S303). Information about the group to be sorted specified by the user is input to the group identification unit 160.
- the measurement data of the measurement target S is input to the input unit 210 (S304).
- the measurement data is dimensionally compressed in the dimensional compression unit 240 in real time, for example, to three dimensions or less (S305).
- the preparative control unit 270 determines whether or not the measurement target S for which the measurement data has been acquired is the preparative target specified in S303 based on the dimensional compression result of the measurement data (S306). ). When it is determined that the measurement target S for which the measurement data has been acquired is the sampling target (S306 / Yes), the sorting unit 280 is controlled by the sorting control unit 270 so as to sort the measurement target S. (S307). On the other hand, when it is determined that the measurement target S for which the measurement data has been acquired is not the sampling target (S306 / No), the measurement target S is not sorted by the sorting unit 280, and the measurement target S is a waste liquid tank or the like. Will be collected. As a result, the sorting system 20 according to the present embodiment can sort the sorting target specified from the dimensional compression result of the measurement data with high accuracy.
- the multidimensional data is used as the measurement data of the flow cytometer 10, but the technique according to the present disclosure is not limited to the above examples.
- the technique according to the present disclosure can be applied to a fluorescence imaging device that measures multidimensional data such as a fluorescence spectrum using an image pickup element (two-dimensional image sensor). That is, the information processing apparatus described in each of the above-described embodiments can also dimensionally compress the multidimensional data measured by the fluorescence imaging apparatus.
- FIG. 13 shows a schematic configuration example of the fluorescence imaging device.
- FIG. 13 is a schematic diagram showing a schematic configuration of a fluorescence imaging device.
- the fluorescence imaging device 30 includes, for example, a laser light source 31, a movable stage 32, a spectroscopic unit 34, and an image pickup element 35.
- the laser light source 31 emits, for example, a laser beam having a wavelength capable of exciting the fluorescent dye used for dyeing the fluorescent dyeing sample 33.
- a plurality of laser light sources 31 may be provided according to the excitation wavelength of each of the plurality of fluorescent dyes.
- the laser light source 31 may be a semiconductor laser light source.
- the laser light emitted from the laser light source 31 may be pulsed light or continuous light.
- the movable stage 32 is a stage on which the fluorescently stained specimen 33 is placed.
- the movable stage 32 can move horizontally so that the laser light emitted from the laser light source 31 scans the fluorescently stained specimen 33 in a two-dimensional manner.
- the fluorescently stained specimen 33 is, for example, a specimen prepared from a specimen or a tissue sample collected from a human body and stained with a plurality of fluorescent dyes for the purpose of pathological diagnosis or the like.
- the fluorescence-stained specimen 33 contains a large number of measurement targets S such as cells constituting the collected tissue.
- the spectroscopic unit 34 is an optical element that disperses the fluorescence emitted from the measurement target S irradiated with the laser beam into a spectrum having a continuous wavelength.
- the spectroscopic unit 34 may be, for example, a prism or a grating.
- the spectroscopic unit 34 may be an optical element that disperses the fluorescence emitted from the measurement target S irradiated with the laser beam for each predetermined detection wavelength range.
- the spectroscopic unit 34 includes, for example, at least one dichroic mirror or an optical filter.
- the spectroscopic unit 34 can disperse the fluorescence from the measurement target S into light in a predetermined detection wavelength range by an optical member such as a dichroic mirror and an optical filter. Therefore, the light in a predetermined detection wavelength range dispersed by the spectroscopic unit 34 can be detected by the image pickup device 35 in the subsequent stage.
- the image sensor 35 is a two-dimensional image sensor in which a light receiving element such as a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal-Oxide-Semiconductor) sensor is arranged in two dimensions.
- a light receiving element such as a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal-Oxide-Semiconductor) sensor is arranged in two dimensions.
- the image pickup element 35 outputs an image signal by emitting light from the measurement target S included in the fluorescence-stained specimen 33 and then receiving the fluorescence dispersed by the spectroscopic unit 34 by each of the light-receiving elements arranged two-dimensionally. do. Since the fluorescence emitted by the measurement target S irradiated with the laser beam is separated by the spectroscopic unit 34, the image pickup element 35 receives fluorescence in a wavelength range different for each region, and an image signal corresponding to the received fluorescence intensity. Can be output.
- the fluorescence imaging device 30 having the above configuration, the fluorescence emitted from the measurement target S included in the fluorescence staining sample 33 is separated by the spectroscopic unit 34 and then detected by each of the light receiving elements of the image pickup element 35. Therefore, since the image signal output by the image sensor 35 is multidimensional data, it is dimensionally compressed by the information processing apparatus described in each of the above-described embodiments in the same manner as the measurement data of the flow cytometer 10 described above. Is possible.
- the multidimensional data dimensionally compressed by the information processing apparatus may be an image signal associated with the position information acquired by the image pickup device 35.
- the multidimensional data dimensionally compressed by the information processing apparatus may be image data associated with the region obtained by the segmentation process.
- the technique according to the present disclosure can be applied not only to a fluorescence imaging device that acquires fluorescence information, but also to a microscope device that acquires an image of a biological specimen with an imaging element.
- a fluorescence imaging device that acquires fluorescence information
- a microscope device that acquires an image of a biological specimen with an imaging element.
- staining treatment such as HE (Hematoxylin Eosin) staining or immune tissue staining
- image of each stained section is acquired
- Image data acquired from a plurality of images in association with each other can be used as multidimensional data.
- FIG. 14 is a block diagram showing a hardware configuration example of the information processing devices 100, 101, and 102 according to the present embodiment.
- the functions of the information processing devices 100, 101, and 102 according to the present embodiment are realized by the cooperation between the software and the hardware described below.
- the functions of the learning unit 120, the dimension compression unit 140, and the group specifying unit 160 described above may be executed by the CPU 901.
- the information processing devices 100, 101, and 102 include a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
- a CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- the information processing devices 100, 101, and 102 include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925. Further may be included. Further, the information processing devices 100, 101, and 102 may have other processing circuits such as a DSP (Digital Signal Processor) or an ASIC (Application Specific Integrated Circuit) in place of the CPU 901 or together with the CPU 901.
- DSP Digital Signal Processor
- ASIC Application Specific Integrated Circuit
- the CPU 901 functions as an arithmetic processing device or a control device, and controls the overall operation of the information processing devices 100, 101, and 102 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
- the ROM 903 stores programs used by the CPU 901, arithmetic parameters, and the like.
- the RAM 905 temporarily stores a program used in the execution of the CPU 901, a parameter used in the execution, and the like.
- the CPU 901, ROM 903, and RAM 905 are connected to each other by a host bus 907 composed of an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
- a PCI Peripheral Component Interconnect / Interface
- the input device 915 is a device that receives input from a user such as a mouse, a keyboard, a touch panel, a button, a switch, or a lever.
- the input device 915 may be a microphone or the like that detects a user's voice.
- the input device 915 may be, for example, a remote control device using infrared rays or other radio waves, or may be an externally connected device 929 corresponding to the operation of the information processing devices 100, 101, 102.
- the input device 915 further includes an input control circuit that outputs an input signal generated based on the information input by the user to the CPU 901. By operating the input device 915, the user can input various data to the information processing devices 100, 101, 102, or instruct the processing operation.
- the output device 917 is a device capable of visually or audibly presenting the information acquired or generated by the information processing devices 100, 101, 102 to the user.
- the output device 917 may be, for example, a display device such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an OLED (Organic Light Emitting Display) display, a hologram, or a projector.
- the output device 917 may be a sound output device such as a speaker or headphones, or may be a printing device such as a printer device.
- the output device 917 may output the information obtained by the processing of the information processing devices 100, 101, 102 as a video such as text or an image, or a sound such as voice or sound.
- the output device 917 may function as, for example, the output unit 150 described above.
- the storage device 919 is a data storage device configured as an example of the storage units of the information processing devices 100, 101, and 102.
- the storage device 919 may be configured by, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
- the storage device 919 can store a program executed by the CPU 901, various data, various data acquired from the outside, and the like.
- the storage device 919 may function as, for example, the learning model storage unit 130 described above.
- the drive 921 is a read or write device for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing devices 100, 101, and 102.
- the drive 921 can read the information recorded in the attached removable recording medium 927 and output it to the RAM 905. Further, the drive 921 can write a record on the removable recording medium 927 mounted on the drive 921.
- the connection port 923 is a port for directly connecting the external connection device 929 to the information processing devices 100, 101, 102.
- the connection port 923 may be, for example, a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface) port, or the like. Further, the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multidimedia Interface) port, or the like.
- the connection port 923 may function as, for example, the above-mentioned input unit 110 or output unit 150.
- the communication device 925 is a communication interface composed of, for example, a communication device for connecting to the communication network 931.
- the communication device 925 may be, for example, a communication card for a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), WUSB (Wireless USB), or the like. Further, the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communications, or the like.
- the communication device 925 may function as, for example, the above-mentioned input unit 110 or output unit 150.
- the communication device 925 can send and receive signals and the like to and from the Internet or other communication devices using a predetermined protocol such as TCP / IP.
- the communication network 931 connected to the communication device 925 is a network connected by wire or wirelessly, and is, for example, an Internet communication network, a home LAN, an infrared communication network, a radio wave communication network, a satellite communication network, or the like. May be good.
- the technology according to the present disclosure may have the following configuration.
- the multidimensional data which is the input data is dimensionally compressed by a dimensional compression method which does not perform probabilistic processing using a learning model which has already been trained. Will be. Therefore, the information processing apparatus can compress the multidimensional data at higher speed and with higher reproducibility, so that the multidimensional data can be analyzed more easily.
- the effects exerted by the techniques according to the present disclosure are not necessarily limited to the effects described herein, and may be any of the effects described in the present disclosure.
- An information processing device including a dimensional compression unit that generates dimensional compression data for input data based on a learning model generated by a neural network in which the same data acquired from a biological substance is applied to an input layer and an output layer.
- the learning model includes a network structure of the neural network including the input layer, at least one intermediate layer having a smaller number of nodes than the input layer, and an output layer having the same number of nodes as the input layer.
- the information processing apparatus according to (1) above, which includes weighting.
- the information processing device according to (2) above, wherein the learning model is an autoencoder.
- the information processing apparatus according to (3) above, wherein the learning model does not perform probabilistic processing.
- the information processing apparatus according to any one of (2) to (4) above, wherein the dimensional compression data is output data from each node of the intermediate layer.
- the dimensional compression data is dimensionally compressed data in three dimensions or less.
- the input data is multidimensional data acquired from the biological substance.
- the input data is the same data as the data used for generating the learning model.
- the input data is data different from the data used for generating the learning model.
- the information processing apparatus according to any one of (7) to (9) above, wherein the input data is multidimensional data including fluorescence intensity or scattered light intensity acquired from biological particles.
- the information processing apparatus according to (10) above, further comprising a preparative control unit for controlling the preparative unit for preparating the biological particles from which the input data has been acquired based on the dimensional compression data.
- the information processing apparatus according to any one of (1) to (11) above, further comprising a learning unit that generates the learning model.
- a dimensional compression unit that generates dimensional compression data for input data based on a learning model generated by a neural network that applies the same data obtained from biological materials to the input layer and output layer.
- a preparative system including a preparative control unit that controls a preparative unit for preparating biological particles from which the input data has been acquired based on the dimensional compression data.
- An information processing method that includes generating dimensionally compressed data for input data based on a learning model generated by a neural network that applies the same data obtained from biological material to the input and output layers.
- Computer A program that functions as a dimensional compression unit that generates dimensional compression data for input data based on a learning model generated by a neural network that applies the same data obtained from biological materials to the input layer and output layer.
- a laser light source that irradiates light from biological particles flowing through the flow path, A photodetector that detects light from the biological particles, A dimensional compression unit that generates dimensional compression data for the measurement data obtained by the photodetector based on the learning model is provided.
- the learning model is a flow cytometer system generated by a neural network in which the same data acquired from a biological substance is applied to an input layer and an output layer.
- the flow cytometer system according to (17) above wherein the biological substance is particles labeled with the same fluorescent dye as the biological particles.
- the learning model includes a network structure of the neural network including the input layer, at least one intermediate layer having a smaller number of nodes than the input layer, and an output layer having the same number of nodes as the input layer.
- the flow cytometer system according to (17) or (18) above which includes weighting.
- the flow cytometer system according to (19) above, wherein the learning model is an autoencoder.
- (21) The flow cytometer system according to (20) above, wherein the learning model does not perform probabilistic processing.
- the flow cytometer system according to any one of (17) to (23) above, wherein the measurement data is multidimensional data including fluorescence intensity or scattered light intensity acquired from the biological particles.
- a laser light source that irradiates light from biological particles flowing through the flow path, A photodetector that detects light from the biological particles, Based on the learning model, a dimensional compression unit that generates dimensional compression data for the measurement data obtained by the detection unit, and a dimensional compression unit.
- a sorting unit for sorting the biological particles based on the dimensional compression data is provided.
- the learning model is a preparative system generated by a neural network in which the same data acquired from a biological substance is applied to an input layer and an output layer.
- the learning model includes a network structure of the neural network including the input layer, at least one intermediate layer having a smaller number of nodes than the input layer, and an output layer having the same number of nodes as the input layer.
- (31) The preparative system according to (30) above, wherein the learning model is an autoencoder.
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Dispersion Chemistry (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成された学習モデルに基づいて、入力データに対する次元圧縮データを生成する次元圧縮部を備える、情報処理装置。
Description
本開示は、情報処理装置、フローサイトメータシステム、分取システム、及び情報処理方法に関する。
近年、医学及び生化学の分野では、フローサイトメータを用いて大量の粒子の特性を迅速に測定することが行われている。フローサイトメータは、フローセルと呼ばれる流路を流れる粒子に光を照射し、該粒子から発せられる蛍光及び散乱光を分析することで、粒子の特性を測定する分析装置である。
また、医学及び生化学の分野では、複数の蛍光色素にて染色された細胞又は組織を蛍光顕微鏡で測定することで、細胞又は組織の内部構造及び動態を分析することが行われている。
このようなフローサイトメータ及び蛍光顕微鏡などの分析装置では、例えば、複数の蛍光色素からの蛍光を分光し、分光された蛍光を検出波長域が異なる複数の受光素子を配列した受光素子アレイにて検出している。したがって、このようなフローサイトメータ及び蛍光顕微鏡などの分析装置では、測定データは、受光素子の各々における検出値を含む多次元データとなる。例えば、フローサイトメータでは、多次元データを解析する方法についても様々な提案が行われている(例えば、特許文献1)。
多次元データが取得される分析装置では、多次元データの解析をより容易にするために、多次元データをより迅速かつ高精度に次元圧縮することが望まれる。
よって、多次元データをより迅速かつ高精度に次元圧縮することが可能な情報処理装置、分取システム、情報処理方法、及びプログラムを提供することが望ましい。
本開示の一実施形態に係る第1の情報処理装置は、生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成された学習モデルに基づいて、入力データに対する次元圧縮データを生成する次元圧縮部を備える。
本開示の一実施形態に係る第2の情報処理装置は、生体由来物質から取得された同一の多次元データを入力層及び出力層に適用したニューラルネットワークによって学習モデルを生成する学習部を備える。
本開示の一実施形態に係るフローサイトメータシステムは、流路内を通流する生体由来粒子に対して、光を照射するレーザ光源と、生体由来粒子からの光を検出する光検出器と、学習モデルに基づいて、光検出器で得られた測定データに対する次元圧縮データを生成する次元圧縮部と、を備え、学習モデルは、生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成される。
本開示の一実施形態に係る分取システムは、流路内を通流する生体由来粒子に対して、光を照射するレーザ光源と、生体由来粒子からの光を検出する光検出器と、学習モデルに基づいて、光検出器で得られた測定データに対する次元圧縮データを生成する次元圧縮部と、次元圧縮データに基づいて、生体由来粒子を分取する分取部と、を備え、学習モデルは、生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成される。
本開示の一実施形態に係る情報処理方法は、演算処理装置によって、生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成された学習モデルに基づいて、入力データに対する次元圧縮データを生成することを含む。
本開示の一実施形態に係るプログラムは、コンピュータを、生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成された学習モデルに基づいて、入力データに対する次元圧縮データを生成する次元圧縮部として機能させる。
本開示の一実施形態に係る情報処理装置、フローサイトメータシステム、分取システム、情報処理方法、及びプログラムでは、入力層及び出力層に同一のデータを適用したニューラルネットワークによって生成された学習モデルに基づいて、入力データ又は測定データに対する次元圧縮データが生成される。これにより、例えば、入力データ又は測定データは、既に学習が行われた学習モデルを用いて、確率的処理を行わない次元圧縮方法にて次元圧縮されることができる。
以下、本開示における実施形態について、図面を参照して詳細に説明する。以下で説明する実施形態は本開示の一具体例であって、本開示にかかる技術が以下の態様に限定されるわけではない。また、本開示の各構成要素の配置、寸法、及び寸法比等についても、各図に示す様態に限定されるわけではない。
なお、説明は以下の順序で行う。
1.第1の実施形態
1.1.フローサイトメータの概要
1.2.情報処理装置の構成例
1.3.情報処理装置の動作例
1.4.次元圧縮の実施例
2.第2の実施形態
2.1.情報処理装置の構成例
2.2.情報処理装置の動作例
2.3.次元圧縮の実施例
3.第3の実施形態
3.1.分取システムの構成例
3.2.分取システムの動作例
4.変形例
5.ハードウェア構成例
1.第1の実施形態
1.1.フローサイトメータの概要
1.2.情報処理装置の構成例
1.3.情報処理装置の動作例
1.4.次元圧縮の実施例
2.第2の実施形態
2.1.情報処理装置の構成例
2.2.情報処理装置の動作例
2.3.次元圧縮の実施例
3.第3の実施形態
3.1.分取システムの構成例
3.2.分取システムの動作例
4.変形例
5.ハードウェア構成例
<1.第1の実施形態>
(1.1.フローサイトメータの概要)
まず、図1を参照して、本開示に係る技術が適用されるフローサイトメータの概要について説明する。図1は、フローサイトメータ10の概略的な構成を示す模式図である。
(1.1.フローサイトメータの概要)
まず、図1を参照して、本開示に係る技術が適用されるフローサイトメータの概要について説明する。図1は、フローサイトメータ10の概略的な構成を示す模式図である。
図1に示すように、フローサイトメータ10は、レーザ光源11と、フローセル12と、検出光学部13と、光検出器14とを備える。
フローサイトメータ10は、フローセル12を高速で通流する測定対象Sにレーザ光源11からのレーザ光を照射し、測定対象Sの各々からの蛍光又は散乱光を検出光学部13で分光する。これにより、フローサイトメータ10は、検出光学部13で分光された蛍光又は散乱光を光検出器14にて検出することができる。
フローサイトメータ10の測定対象Sは、例えば、複数の蛍光色素にて染色された細胞、組織、微生物、又は生体関連粒子などの生体由来粒子である。例えば、細胞は、動物細胞(血球系細胞)又は植物細胞などであってもよい。例えば、組織は、人体等から採取された組織、又は該組織の一部(組織細胞を含む)であってもよい。例えば、微生物は、大腸菌などの細菌類、タバコモザイクウイルスなどのウイルス類、又はイーストなどの菌類であってもよい。例えば、生体関連粒子は、細胞を構成する染色体、リポソーム、又はミトコンドリアなどの各種オルガネラ(細胞小器官)であってもよく、核酸、タンパク質、脂質、糖鎖、又はこれらの複合体などの生体関連高分子であってもよい。これらの生体由来粒子は、球形又は非球形のいずれの形状であってもよく、大きさ又は質量についても特に限定されない。
また、フローサイトメータ10の測定対象Sは、ラテックス粒子、ゲル粒子、又は工業用粒子などの人工粒子であってもよい。例えば、工業的粒子は、ポリスチレン若しくはポリメチルメタクリレートなどの有機樹脂材料、ガラス、シリカ、若しくは磁性体などの無機材料、又は金コロイド若しくはアルミニウムなどの金属で合成された粒子であってもよい。これらの人工粒子についても、同様に、球形又は非球形のいずれの形状であってもよく、大きさ又は質量についても特に限定されない。
測定対象Sは、あらかじめ複数の蛍光色素によって染色(標識)され得る。蛍光色素による測定対象Sの標識は、公知の方法にて行われ得る。具体的には、測定対象Sが細胞である場合、測定対象の細胞の蛍光標識は、細胞表面に存在する抗原に対して選択的に結合する蛍光標識抗体と、測定対象の細胞とを混合し、細胞表面の抗原に蛍光標識抗体を結合させることで行うことができる。または、測定対象の細胞の蛍光標識は、特定の細胞に対して選択的に取り込まれる蛍光色素と、測定対象の細胞とを混合し、細胞に蛍光色素を取り込ませることで行うことができる。
なお、蛍光標識抗体は、標識として蛍光色素を結合させた抗体である。例えば、蛍光標識抗体は、抗体に蛍光色素を直接結合させたものであってもよい。または、蛍光標識抗体は、ビオチン標識された抗体にアビジンを結合させた蛍光色素をアビジン-ビオチン反応によって結合させたものであってもよい。抗体は、ポリクローナル抗体又はモノクローナル抗体のいずれであってもよく、蛍光色素は、細胞染色等に用いられる公知の色素であってもよい。
レーザ光源11は、例えば、測定対象Sの染色に用いた蛍光色素を励起可能な波長のレーザ光を出射する。測定対象Sの染色に複数の蛍光色素が用いられる場合、レーザ光源11は、複数の蛍光色素の各々の励起波長に応じて複数設けられてもよい。例えば、レーザ光源11は、半導体レーザ光源であってもよい。レーザ光源11から出射されるレーザ光は、パルス光であってもよく、連続光であってもよい。
フローセル12は、細胞などの測定対象Sを一方向に整列させて通流させる流路である。具体的には、フローセル12は、測定対象Sを含むサンプル液を包み込んだシース液を層流として高速で流すことで、測定対象Sを一方向に整列させて通流させることができる。フローセル12を通流する測定対象Sには、レーザ光源11からのレーザ光が照射される。レーザ光を照射された測定対象Sからの蛍光又は散乱光は、検出光学部13を通過した後、光検出器14にて検出される。
検出光学部13は、レーザ光を照射された測定対象Sから発せられる光のうち所定の検出波長域の光を光検出器14に到達させる光学素子である。検出光学部13は、例えば、プリズム又はグレーティングなどであってもよい。また、代替的には、検出光学部13は、レーザ光を照射された測定対象Sから発せられる蛍光を所定の検出波長域ごとに分離する光学素子であってもよい。このような場合、検出光学部13は、例えば、ダイクロイックミラー又は光学フィルタを少なくとも1つ以上含んで構成される。検出光学部13は、ダイクロイックミラー及び光学フィルタ等の光学部材によって測定対象Sからの蛍光を所定の検出波長域の光に分離することができる。したがって、検出光学部13にて分離された所定の検出波長域の光は、それぞれ対応する光検出器14にて検出され得る。
光検出器14は、レーザ光が照射された測定対象Sから発せられた蛍光又は散乱光を検出する受光素子群を含む。受光素子群は、例えば、検出可能な光の波長域が異なる光電子増倍管(PMT:PhotoMultiplier Tube)又はフォトダイオードなどの複数の受光素子を検出光学部13による光の分離方向に沿って一次元に配列した受光素子アレイであってもよい。また、代替的には、光検出器14は、例えば、検出光学部14にて分離された蛍光色素の波長域に対応する光を受光するように、蛍光色素と同数の複数の受光素子で含んで構成されてもよい。さらに、代替的には、光検出器14は、例えば、CCD(Charge Coupled Device)センサ又はCMOS(Complementary Metal-Oxide-Semiconductor)センサなどの撮像素子を含んでもよい。このような場合、光検出器14は、撮像素子によって測定対象Sの画像(例えば、明視野画像、暗視野画像、又は蛍光画像など)を取得することができる。
上記構成のフローサイトメータ10では、レーザ光源11からのレーザ光が照射された測定対象Sから蛍光及び散乱光が発せられる。測定対象Sが発した蛍光及び散乱光は、検出光学部13によって分離された後、光検出器14にて検出される。光検出器14では、測定対象Sが発した蛍光は、検出可能な光の波長域が異なる複数の受光素子の各々にて検出される。また、測定対象Sが発した散乱光は、前方散乱光及び側方散乱光として検出される。したがって、フローサイトメータ10における検出結果は、多次元データとして取得される。
(1.2.情報処理装置の構成例)
続いて、図2を参照して、本開示の第1の実施形態に係る情報処理装置について説明する。図2は、本実施形態に係る情報処理装置100の機能構成を示すブロック図である。本実施形態に係る情報処理装置は、多次元データとして出力されるフローサイトメータ10等の測定結果を機械学習にて生成された学習モデルで次元圧縮することで、測定結果の解析をより容易に行うことを可能とする。ここで、フローサイトメータシステムとは、フローサイトメータ10と情報処理装置100とを含む。
続いて、図2を参照して、本開示の第1の実施形態に係る情報処理装置について説明する。図2は、本実施形態に係る情報処理装置100の機能構成を示すブロック図である。本実施形態に係る情報処理装置は、多次元データとして出力されるフローサイトメータ10等の測定結果を機械学習にて生成された学習モデルで次元圧縮することで、測定結果の解析をより容易に行うことを可能とする。ここで、フローサイトメータシステムとは、フローサイトメータ10と情報処理装置100とを含む。
図2に示すように、情報処理装置100は、例えば、入力部110と、学習部120と、学習モデル記憶部130と、次元圧縮部140と、出力部150とを備える。
入力部110は、入力データとして多次元データを情報処理装置100に入力するための入力ポートである。具体的には、入力部110は、フローサイトメータ10等の外部機器からの各種データを受信可能な接続ポートである。例えば、入力部110は、USB(Universal Serial Bus)ポート、IEEE1394ポート、又はSCSI(Small Computer System Interface)ポートなどであってもよい。
入力部110に入力される多次元データは、例えば、フローサイトメータ10の光検出器14に含まれる各受光素子における受光量に関するデータを含んでもよい。ここで、各受光素子が蛍光色素の波長域に対応する光を受光する場合、受光量に関するデータは、蛍光色素の発現量に関するデータ(受光パルスのArea、Height、又はWidthなど)に対応してもよい。または、入力部110に入力される多次元データは、受光素子アレイにて測定された蛍光スペクトルを解析することで算出された蛍光色素の発現量に関するデータを含んでもよい。多次元データは、前方散乱光、又は側方散乱光の検出強度に関するデータをさらに含んでもよい。
学習部120は、多次元データを次元圧縮するための学習モデルを生成する。具体的には、学習部120は、確率的処理を行わずに多次元データを次元圧縮するための学習モデルを生成する。
例えば、t-SNE(t-distributed Stochastic Neighbor Embedding:t分布型確率的近傍埋め込み)等の次元圧縮方法は、次元圧縮の過程で確率分布を用いるため、再現性が低く、次元圧縮処理のたびに次元圧縮の結果が変化することがあり得る。具体的には、t-SNE等の次元圧縮方法では、同じ多次元データを入力した場合でも次元圧縮結果の各クラスタの形状及び配置が変化してしまうことがあり得る。また、t-SNE等の次元圧縮方法では、次元圧縮結果のクラスタの形状が歪む、又はクラスタが分断されるということがあり得る。よって、t-SNE等の次元圧縮方法では、複数の多次元データの間で次元圧縮結果を比較することが困難となるため、例えば、未知のクラスタを発見すること等が困難となる。
一方、確率的処理を行わない次元圧縮は、確率分布又は乱数を用いず、次元の圧縮及び復元を可逆的に行うことができるため、次元圧縮の結果の再現性が高い。そのため、確率的処理を行わない次元圧縮は、複数の多次元データの間で次元圧縮の結果を互いに比較することが可能である。これによれば、本実施形態に係る情報処理装置100は、複数の多次元データの次元圧縮結果同士を比較することで、多次元データに含まれる集団(クラスタ)をより容易に特定することが可能となる。
具体的には、学習部120は、多次元データを次元圧縮するための学習モデルとして、入力層及び出力層に同一の多次元データを適用したニューラルネットワークによって学習モデルを生成する。図3を参照して、学習部120が生成する学習モデルについて具体的に説明する。図3は、学習部120が生成する学習モデルを説明する説明図である。
例えば、図3に示すように、学習部120は、入力層ILと、入力層ILよりもノードの数が少ない少なくとも1層以上の中間層HLと、入力層ILとノードの数が同じである出力層OLとを含むニューラルネットワークを用いて学習モデルを生成してもよい。このような入力層IL、中間層HL、及び出力層OLを含むニューラルネットワークは、いわゆるオートエンコーダAEである。学習部120は、入力層IL及び出力層OLに同一の多次元データを適用し、オートエンコーダAEのネットワーク構造及び重み付けを最適化する。すなわち、学習部120は、入力層ILに入力された多次元データと、出力層OLから出力される多次元データとの差が最小化されるようにオートエンコーダAEのネットワーク構造及び重み付けを最適化する。これにより、学習部120は、ネットワーク構造及び重み付けを最適化されたオートエンコーダAEを学習モデルとして生成することができる。
例えば、オートエンコーダAEは、入力層ILから中間層HLまでのエンコーダ部と、中間層HLから出力層OLまでのデコーダ部とを含む。
エンコーダ部では、入力層ILの各ノードに多次元データの各次元の値が入力されることで、ニューラルネットワークによって、入力層ILよりもノードの数が少ない中間層HLに多次元データの特徴が圧縮(符号化)される。したがって、中間層HLでは、多次元データの特徴が入力層ILよりも少ない数のノード(すなわち、多次元データの次元数よりも低い次元数)に圧縮されることになる。すなわち、中間層HLの各ノードの値は、多次元データを次元圧縮した次元圧縮データとなる。
また、デコーダ部では、中間層HLに圧縮された多次元データの特徴がニューラルネットワークによって入力層ILとノードの数が同じである出力層OLに復元(復号化)される。出力層OLに適用される多次元データは、入力層ILに適用される多次元データと同じであるため、オートエンコーダAEでは、多次元データを可逆的に圧縮(符号化)及び復元(復号化)することができる。
なお、中間層HLは、2層以上存在してもよい。このような場合、入力層ILから、複数の中間層HLのうち最もノードの数が少ない中間層HLまでがエンコーダ部となり、複数の中間層HLのうち最もノードの数が少ない中間層HLから、出力層OLまでがデコーダ部となる。また、複数の中間層HLのうち最もノードの数が少ない中間層HLの各ノードの値が多次元データを次元圧縮した次元圧縮データとなる。
したがって、学習部120は、例えば、中間層HLのノードの数を2又は3としたニューラルネットワークを用いることで、多次元データをユーザが視認しやすい2次元又は3次元まで次元圧縮する学習モデルを生成することができる。
なお、オートエンコーダAEの最適化に用いられる多次元データは、直前にフローサイトメータ10等にて測定された測定結果の多次元データであってもよく、あらかじめフローサイトメータ10等にて測定された過去の多次元データであってもよい。
学習モデル記憶部130は、学習部120で生成された学習モデルを記憶する。具体的には、学習モデル記憶部130は、学習モデルとして、学習後のニューラルネットワークのネットワーク構造及び重み付けを記憶する。学習モデル記憶部130は、例えば、HDD(Hard Disk Drive)などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイスなどで構成されてもよい。
学習部120及び学習モデル記憶部130は、情報処理装置100の外部のサーバ又はクラウドに設けられてもよい。例えば、情報処理装置100は、サーバ又はクラウドにネットワークを介して多次元データを送信することで、サーバ又はクラウド上の学習部120にて学習モデルを生成し、サーバ又はクラウド上の学習モデル記憶部130にて学習モデルを記憶してもよい。このような場合、後述する次元圧縮部140は、ネットワークを介して、サーバ又はクラウド上の学習モデル記憶部130に記憶された学習モデルを参照することで、多次元データの次元圧縮を行うことが可能である。
次元圧縮部140は、学習部120にて生成された学習モデルを用いて、入力部110に入力された多次元データを次元圧縮することで、次元圧縮データを生成する。具体的には、次元圧縮部140は、学習モデルであるオートエンコーダAEの入力層ILの各ノードに多次元データを入力した際の中間層HLの各ノードの値を多次元データの次元圧縮データとして出力する。これにより、次元圧縮部140は、多次元データの特徴を含み、かつ多次元データよりも次元数が低減された次元圧縮データを生成することができる。例えば、次元圧縮部140は、ユーザが視認しやすい2次元又は3次元の次元圧縮データを生成してもよい。
出力部150は、次元圧縮データをユーザに提示することが可能な装置であってもよい。出力部150は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、OLED(Organic Light Emitting Diode)ディスプレイ、ホログラム、又はプロジェクタなどの表示装置であってもよく、プリンタ装置などの印刷装置であってもよい。出力部150は、次元圧縮データを2次元座標又は3次元座標上にプロットされた散布図として出力することができる。
または、出力部150は、次元圧縮データをユーザに提示することが可能な外部装置に次元圧縮データを出力する外部出力ポートであってもよい。出力部150は、例えば、多次元圧縮データを外部に送信可能なUSBポート、IEEE1394ポート、又はSCSIポートなどの接続ポートであってもよい。出力部150は、次元圧縮データを表示装置又は印刷装置に出力することで、表示装置又は印刷装置にて次元圧縮データをユーザに提示することができる。
以上の構成を備える情報処理装置100によれば、フローサイトメータ10などで得られる生体由来粒子(例えば、細胞)の蛍光強度又は散乱光強度を含む多次元データをユーザが視認しやすい3次元以下のデータに次元圧縮することができる。また、情報処理装置100による次元圧縮は、確率的処理を行っておらず、次元圧縮の結果の再現性が高いため、複数の多次元データの次元圧縮結果同士を比較することが可能となる。これによれば、情報処理装置100は、ユーザにフローサイトメータ10などの測定結果の解析をより容易に行わせることが可能である。
(1.3.情報処理装置の動作例)
次に、図4を参照して、本実施形態に係る情報処理装置100の動作例について説明する。図4は、本実施形態に係る情報処理装置100の動作の流れの一例を示すフローチャート図である。
次に、図4を参照して、本実施形態に係る情報処理装置100の動作例について説明する。図4は、本実施形態に係る情報処理装置100の動作の流れの一例を示すフローチャート図である。
図4に示すように、まず、入力部110にて多次元データが取得される(S101)。取得される多次元データは、フローサイトメータ10等にて直前に測定された多次元データであってもよく、フローサイトメータ10等にて過去にされた多次元データであってもよい。
次に、取得された多次元データを用いて、学習部120にてオートエンコーダAEの学習が行われる(S102)。オートエンコーダAEは、例えば、入力層IL及び出力層OLのノード数が多次元データの次元数と同じであり、中間層HLのノード数が3以下であるニューラルネットワークにて構成される。十分な学習が行われた後、学習されたオートエンコーダの学習モデル(すなわち、オートエンコーダのネットワーク構造及び重み付け)は、学習モデル記憶部130に記憶される(S103)。
その後、学習されたオートエンコーダの学習モデルを用いて、次元圧縮部140にて多次元データが例えば3次元以下に次元圧縮される(S104)。続いて、多次元データを次元圧縮した次元圧縮データは、出力部150を介して情報処理装置100の外部に出力される(S105)。これにより、ユーザは、視覚的に認識することが容易な3次元以下に次元圧縮された多次元データを確認することができる。
(1.4.次元圧縮の実施例)
続いて、図5及び図6を参照して、本実施形態に係る情報処理装置100の次元圧縮の実施例について説明する。
続いて、図5及び図6を参照して、本実施形態に係る情報処理装置100の次元圧縮の実施例について説明する。
まず、シミュレータによって、フローサイトメータ10の測定結果を模した8次元の多次元データを生成した。具体的には、異なる8つの蛍光色素にてそれぞれ単染色された細胞1000個ずつ、及び未染色の細胞1000個を含む合計9000個の細胞集団をフローサイトメータ10にて測定した結果を模した8次元の多次元データを生成した。生成した8次元の多次元データの一部を以下の表1に例示する。なお、Ch1~Ch8は、光検出器14に含まれる受光素子アレイの各受光素子からの出力を示す。
次に、入力層IL及び出力層OLのノード数が8であり、入力層IL及び出力層OLの間に設けられた1層の中間層HLのノード数が2のオートエンコーダAEに、シミュレータによって生成した8次元の多次元データを適用することで学習モデルを生成した。具体的には、入力層ILに入力された多次元データと、出力層OLから出力される多次元データとの差が最小化されるようにオートエンコーダAEのネットワーク構造及び重み付けを最適化した。これにより、ネットワーク構造及び重み付けが最適化されたオートエンコーダAEの学習モデルを生成することができた。なお、学習モデルを生成するための学習時間は、439.2秒であった。
なお、上記では、フローサイトメータ10の測定結果を模した8次元の多次元データを用いたが、より高次元の多次元データを用いる場合には、入力層IL及び出力層OLのノード数を多次元データの次元数に合わせて増加させればよい。
続いて、生成された学習モデルに対して、上記の8次元の多次元データを入力層ILに再度入力し、中間層HLの2次元データを出力させた。中間層HLから出力された2次元データを縦軸及び横軸にプロットした結果を図5に示す。すなわち、図5が本実施形態に係る情報処理装置100による次元圧縮の結果を示すグラフ図となる。
また、同一の8次元の多次元データをt-SNEにて次元圧縮した2次元データを縦軸及び横軸にプロットした結果を図6に示す。すなわち、図6が比較例に係る次元圧縮の結果を示すグラフ図となる。
図5及び図6に示すように、本実施形態に係る情報処理装置100による次元圧縮は、t-SNEによる次元圧縮に対して、集団のまとまり(クラスタ内結合)、及び集団と他の集団との距離(クラスタ外分離)を良好とすることができるため、クラスタリングとして良好の結果が得られることがわかる。
具体的には、クラスタ内結合を示すクラスタ内の分散と、クラスタ外分離を示すクラスタ間距離とを用いてクラスタリングの良好さを指標で示す(数値が小さいほどクラスタリングが良好であることを示す)と、本実施形態に係る情報処理装置100による次元圧縮の結果(図5)は、該指標が0.13であった。一方、t-SNEによる次元圧縮の結果(図6)は、該指標が1.13であった。したがって、本実施形態に係る情報処理装置100によれば、多次元データをより高精度で次元圧縮することができることがわかる。
また、t-SNEによる次元圧縮の処理時間は、53.5秒である一方で、本実施形態に係る情報処理装置100による次元圧縮の処理時間は、0.64秒であった。本実施形態に係る情報処理装置100では、次元圧縮のための学習モデルをあらかじめ生成しているため、多次元データを次元圧縮する際の処理時間を大幅に低減することができる。
以上にて説明したように、本実施形態に係る情報処理装置100は、あらかじめ学習モデルを生成し、生成した学習モデルを用いて確率的処理を行わずに多次元データを次元圧縮することにより、多次元データをより高速かつ高精度で次元圧縮することが可能である。
<2.第2の実施形態>
(2.1.情報処理装置の構成例)
次に、図7を参照して、本開示の第2の実施形態に係る情報処理装置について説明する。図7は、本実施形態に係る情報処理装置101の機能構成を示すブロック図である。本実施形態に係る情報処理装置は、第1の実施形態に係る情報処理装置100で学習済みの学習モデルを用いることで、新規の多次元データに対しても高速で次元圧縮を行うことが可能である。ここで、フローサイトメータシステムとは、フローサイトメータ10と情報処理装置101とを含む。
(2.1.情報処理装置の構成例)
次に、図7を参照して、本開示の第2の実施形態に係る情報処理装置について説明する。図7は、本実施形態に係る情報処理装置101の機能構成を示すブロック図である。本実施形態に係る情報処理装置は、第1の実施形態に係る情報処理装置100で学習済みの学習モデルを用いることで、新規の多次元データに対しても高速で次元圧縮を行うことが可能である。ここで、フローサイトメータシステムとは、フローサイトメータ10と情報処理装置101とを含む。
図7に示すように、情報処理装置101は、例えば、入力部110と、学習モデル記憶部130と、次元圧縮部140と、出力部150とを備える。本実施形態に係る情報処理装置101は、学習部120を備えず、既に学習済みの学習モデルを用いることで、新規の多次元データに対して高速で次元圧縮を行うことができる。
入力部110、次元圧縮部140、及び出力部150については、第1の実施形態に係る情報処理装置100にて説明した構成と実質的に同様であるため、ここでの説明は省略する。
学習モデル記憶部130は、多次元データを次元圧縮するための学習モデルを記憶する。具体的には、学習モデル記憶部130は、第1の実施形態と同様に、入力層ILと、入力層ILよりもノードの数が少ない少なくとも1層以上の中間層HLと、入力層ILとノードの数が同じである出力層OLとを含むニューラルネットワークを用いたオートエンコーダAEを学習モデルとして記憶する。学習モデル記憶部130にて学習モデルとして記憶されるオートエンコーダAEは、例えば、第1の実施形態に係る情報処理装置100等にて学習が行われ、ネットワーク構造及び重み付けが最適化されている。したがって、後段の次元圧縮部140は、第1の実施形態に係る情報処理装置100と同様に、入力部110にて取得された多次元データを次元圧縮することができる。
なお、学習モデル記憶部130は、情報処理装置101の外部のサーバ又はクラウドに設けられてもよい。例えば、情報処理装置101は、ネットワークを介して、サーバ又はクラウド上の学習モデル記憶部130に記憶された学習モデルを参照することで、多次元データの次元圧縮を行ってもよい。
以上の構成を備える情報処理装置101によれば、既に学習済みの学習モデルを用いることで、フローサイトメータ10などの測定結果の解析をより短時間で行うことが可能である。
(2.2.情報処理装置の動作例)
続いて、図8を参照して、本実施形態に係る情報処理装置101の動作例について説明する。図8は、本実施形態に係る情報処理装置101の動作の流れの一例を示すフローチャート図である。
続いて、図8を参照して、本実施形態に係る情報処理装置101の動作例について説明する。図8は、本実施形態に係る情報処理装置101の動作の流れの一例を示すフローチャート図である。
図8に示すように、まず、入力部110にてフローサイトメータ(FCM)10から測定データが取得される(S201)。測定データは、例えば、フローサイトメータ10の光検出器14にて測定された蛍光強度及び散乱光強度に関するデータを含む多次元データである。次に、学習モデル記憶部130に記憶された学習モデルを用いて、次元圧縮部140にて測定データが例えば3次元以下に次元圧縮される(S202)。測定データを次元圧縮した次元圧縮データは、出力部150を介して情報処理装置101の外部に出力される(S203)。これにより、ユーザは、視覚的に認識することが容易な3次元以下に次元圧縮された測定データを確認し、フローサイトメータ10などの測定結果を解析することができる。
(2.3.次元圧縮の実施例)
続いて、図9及び図10を参照して、本実施形態に係る情報処理装置101の次元圧縮の実施例について説明する。
続いて、図9及び図10を参照して、本実施形態に係る情報処理装置101の次元圧縮の実施例について説明する。
まず、シミュレータによって、上記の(1.4.次元圧縮の実施例)で説明した合計9000個の細胞集団に、複数の蛍光色素で染色された細胞1000個、及び低濃度で単染色された細胞1000個をさらに追加した合計11000個の細胞集団をフローサイトメータ10にて測定した結果を模した8次元の多次元データを生成した。
次に、上記の(1.4.次元圧縮の実施例)で生成した学習モデルを用いて、上記の8次元の多次元データを入力層ILに入力し、中間層HLのデータを出力させた。中間層HLから出力された2次元データを縦軸及び横軸にプロットした結果を図9の右に示す。参考として、図9の左には、上記の(1.4.次元圧縮の実施例)にて図5で示した9000個の細胞集団の次元圧縮データを示す。
また、同一の8次元の多次元データをt-SNEにて次元圧縮した2次元データを縦軸及び横軸にプロットした結果を図10の右に示す。参考として、図10の左には、上記の(1.4.次元圧縮の実施例)にて図6で示した9000個の細胞集団の次元圧縮データを示す。
図9及び図10に示すように、本実施形態に係る情報処理装置100による次元圧縮は、t-SNEによる次元圧縮と同様に、追加された1000個の細胞集団2つを未知クラスタUC1及びUC2としてクラスタリングすることができる。
ただし、t-SNEによる次元圧縮の結果(図10)では、次元圧縮の再現性の低さのため、クラスタの配置及び形状が次元圧縮のたびに変化している。また、実際の測定データを次元圧縮する場合、シミュレーションとは異なり、細胞集団はラベリングされないため、t-SNEによる次元圧縮の結果では、追加された1000個の細胞集団2つがいずれのクラスタに対応するのかをクラスタの形状及び配置で判断することは困難である。
一方、本実施形態に係る情報処理装置101による次元圧縮では、次元圧縮の再現性が高いため、クラスタの配置及び形状がほぼ変わっていない。したがって、本実施形態に係る情報処理装置101による次元圧縮によれば、クラスタの形状及び配置に基づいて、追加された1000個の細胞集団2つがいずれのクラスタに対応するのかを判断することが容易に可能である。
以上にて説明したように、本実施形態に係る情報処理装置101は、あらかじめ生成された学習モデルを用いて確率的処理を行わずに多次元データを次元圧縮することにより、多次元データをより高速で次元圧縮することが可能である。また、本実施形態に係る情報処理装置101では、次元圧縮の再現性が高いため、未知のクラスタをより高速かつ容易に発見することが可能である。
このような測定データ同士の比較は、例えば、患者から採取されたサンプル(例えば、血液など)と、健常者から採取されたサンプルとの比較に用いることができる。これによれば、患者特異的に発現する細胞集団を容易に特定することが可能である。また、測定データ同士の比較は、同一の患者から異なる日付で採取されたサンプル同士の比較、又は実際に患者から採取されたサンプルの測定データと、モデルデータとの比較などに用いることができる。さらに、測定データ同士の比較は、異なる条件下で培養した細胞サンプルの比較に用いることができる。これによれば、異なる薬剤の存在、又は薬剤の有無による細胞サンプルの変化を容易に検出することができるため、細胞サンプルに対する薬剤の奏功性を容易に判断することが可能である。
<3.第3の実施形態>
(3.1.分取システムの構成例)
続いて、図11を参照して、本開示の第3の実施形態に係る分取システムについて説明する。図11は、本実施形態に係る分取システムの機能構成を示すブロック図である。本実施形態に係る分取システムは、第1の実施形態に係る情報処理装置100で説明した学習モデルによる次元圧縮を用いることで、測定対象Sのうち特定の集団を迅速に分取することが可能である。例えば、本実施形態に係る分取システムは、測定対象Sのうち特定の集団を分取することが可能ないわゆるセルソータである。
(3.1.分取システムの構成例)
続いて、図11を参照して、本開示の第3の実施形態に係る分取システムについて説明する。図11は、本実施形態に係る分取システムの機能構成を示すブロック図である。本実施形態に係る分取システムは、第1の実施形態に係る情報処理装置100で説明した学習モデルによる次元圧縮を用いることで、測定対象Sのうち特定の集団を迅速に分取することが可能である。例えば、本実施形態に係る分取システムは、測定対象Sのうち特定の集団を分取することが可能ないわゆるセルソータである。
図11に示すように、分取システム20は、情報処理装置102と、分取装置200とを含む。
情報処理装置102は、入力部110と、学習部120と、学習モデル記憶部130と、次元圧縮部140と、出力部150と、集団特定部160とを備える。
入力部110、学習部120、学習モデル記憶部130、次元圧縮部140、及び出力部150については、第1の実施形態に係る情報処理装置100にて説明した構成と実質的に同様であるため、ここでの説明は省略する。
出力部150から出力された多次元データの次元圧縮結果は、例えば、2次元又は3次元グラフとしてユーザに視認される。ユーザは、次元圧縮結果から、測定対象Sに含まれる複数の集団(クラスタ)の数、クラスタ内の分散、及びクラスタ同士の距離を確認することができる。
集団特定部160は、ユーザからの指定に基づいて、分取装置200にて分取する測定対象Sの集団を特定する。例えば、集団特定部160は、ユーザが次元圧縮結果の2次元又は3次元グラフ上にて指定した集団又は範囲に基づいて、分取対象となる測定対象Sの集団を特定する。
分取装置200は、入力部210と、次元圧縮部240と、分取制御部270と、分取部280とを備える。更に、分取装置200は、フローサイトメータ100と同様に、レーザ光源11と、フローセル12と、検出光学部13と、光検出器14とを備えてもよい。分取装置200は、測定対象Sの測定データに基づいて、リアルタイムで測定対象Sが分取対象か否かを判定し、分取対象である測定対象Sの集団を他の集団と分離して取得することができる。
入力部210は、光検出器14等から測定対象Sの測定データを取得する。具体的には、入力部210は、多次元データとして、測定対象Sの粒子の各々の測定データを取得する。例えば、入力部210は、多次元データとして、測定対象Sの粒子の波長域ごとの蛍光強度、又は散乱光強度に関する測定データを取得してもよい。
次元圧縮部240は、学習モデル記憶部130に記憶された学習モデルを用いて、入力部210に入力された測定対象Sの測定データを次元圧縮する。本実施形態に係る分取システム20では、次元圧縮部240は、情報処理装置102の次元圧縮部140と同一の学習モデルを用いて次元圧縮を行うため、分取装置200は、情報処理装置102と同様の次元圧縮結果を得ることができる。学習モデル記憶部130に記憶された学習モデルは、分取する集団を含む測定対象Sを用いて学習された学習モデルであってもよく、他のサンプル等を用いて事前に学習された学習モデルであってもよい。
分取制御部270は、次元圧縮部240による測定データの次元圧縮結果に基づいて、測定データを取得した測定対象Sが分取対象である否かを判定し、分取対象と判定された測定対象Sを分取するように分取部280を制御する。具体的には、分取制御部270は、次元圧縮部240による測定データの次元圧縮結果が次元圧縮部140による次元圧縮の結果に基づいて指定された集団又は範囲に含まれるか否かを判定することで、測定対象Sが分取対象である否かを判定してもよい。
分取部280は、分取制御部270によって分取対象と判定された測定対象Sを他の測定対象Sと分別する。具体的には、分取部280は、分取対象と判定された測定対象Sを含む液滴を帯電させ、電圧を印加した1対の偏向板の間を通過させる。これにより、分取部280は、静電気的な引力によって、分取対象と判定された測定対象Sを含む液滴を他の測定対象Sを含む液滴から分離することができる。分別された測定対象Sを含む液滴は、例えば、分取用のウェル又はチューブに回収される。
本実施形態に係る分取システム20では、次元圧縮の再現性が高いオートエンコーダAEを用いて次元圧縮を行うため、情報処理装置102の次元圧縮部140と、分取装置200の次元圧縮部240とで同様の次元圧縮結果を得ることができる。そのため、分取制御部270は、次元圧縮部240による次元圧縮結果から、測定対象Sが次元圧縮部140による次元圧縮結果に基づいて指定された分取対象であるか否かを判定することができる。
また、本実施形態に係る分取システム20では、次元圧縮部140及び次元圧縮部240は、既に学習済みの学習モデルを用いて次元圧縮を行うため、短時間で迅速に次元圧縮結果を得ることができる。したがって、本実施形態に係る分取システム20は、測定処理から分取処理までの時間的な制約の中でも迅速に測定データの次元圧縮を行い、測定対象Sが分取対象であるか否かを判定することができる。
以上の構成を備える分取システム20によれば、次元圧縮の再現性が高い学習済みの学習モデルを用いることで、次元圧縮をより迅速かつ高精度で行うことができるため、次元圧縮結果から指定された分取対象の測定対象Sを高い精度で分取することが可能である。
(3.2.分取システムの動作例)
次に、図12を参照して、本実施形態に係る分取システム20の動作例について説明する。図12は、本実施形態に係る分取システム20の動作の流れの一例を示すフローチャート図である。
次に、図12を参照して、本実施形態に係る分取システム20の動作例について説明する。図12は、本実施形態に係る分取システム20の動作の流れの一例を示すフローチャート図である。
図12に示すように、まず、入力部110にてフローサイトメータ(FCM)10から測定データが取得される(S301)。測定データは、例えば、フローサイトメータ10の光検出器14にて測定された蛍光強度及び散乱光強度に関するデータを含む多次元データである。次に、学習モデル記憶部130に記憶された学習モデルを用いて、次元圧縮部140にて測定データが例えば3次元以下に次元圧縮される(S302)。測定データを次元圧縮した次元圧縮データは、出力部150を介して情報処理装置102の外部に出力される。これにより、ユーザは、出力された次元圧縮データに基づいて、分取対象となる集団を特定する(S303)。ユーザにて特定された分取対象となる集団に関する情報は、集団特定部160に入力される。
その後、S301にて測定データを取得した測定対象Sの測定を再度行うことで、測定対象Sの測定データが入力部210に入力される(S304)。次に、学習モデル記憶部130に記憶された学習モデルを用いて、次元圧縮部240にて測定データが例えば3次元以下にリアルタイムで次元圧縮される(S305)。
ここで、分取制御部270にて、測定データの次元圧縮結果に基づいて、測定データを取得した測定対象SがS303にて特定された分取対象であるか否かが判定される(S306)。測定データを取得した測定対象Sが分取対象であると判定された場合(S306/Yes)、測定対象Sを分取するように、分取制御部270にて分取部280が制御される(S307)。一方、測定データを取得した測定対象Sが分取対象ではないと判定された場合(S306/No)、分取部280による測定対象Sの分取は行われず、測定対象Sは、廃液タンク等に回収される。これにより、本実施形態に係る分取システム20は、測定データの次元圧縮結果から指定した分取対象を高い精度で分取することが可能である。
<4.変形例>
上述の各実施形態では、多次元データをフローサイトメータ10の測定データとしているが、本開示に係る技術は上記例示に限定されない。例えば、撮像素子(2次元イメージセンサ)を用いて蛍光スペクトル等の多次元データを測定する蛍光イメージング装置に対しても、本開示に係る技術を適用することが可能である。すなわち、上述の各実施形態にて説明した情報処理装置は、蛍光イメージング装置にて測定された多次元データを次元圧縮することも可能である。
上述の各実施形態では、多次元データをフローサイトメータ10の測定データとしているが、本開示に係る技術は上記例示に限定されない。例えば、撮像素子(2次元イメージセンサ)を用いて蛍光スペクトル等の多次元データを測定する蛍光イメージング装置に対しても、本開示に係る技術を適用することが可能である。すなわち、上述の各実施形態にて説明した情報処理装置は、蛍光イメージング装置にて測定された多次元データを次元圧縮することも可能である。
蛍光イメージング装置の概略的な構成例を図13に示す。図13は、蛍光イメージング装置の概略的な構成を示す模式図である。
図13に示すように、蛍光イメージング装置30は、例えば、レーザ光源31と、可動ステージ32と、分光部34と、撮像素子35とを備える。
レーザ光源31は、例えば、蛍光染色標本33の染色に用いた蛍光色素を励起可能な波長のレーザ光を出射する。蛍光染色標本33の染色に複数の蛍光色素が用いられる場合、レーザ光源31は、複数の蛍光色素の各々の励起波長に応じて複数設けられてもよい。例えば、レーザ光源31は、半導体レーザ光源であってもよい。レーザ光源31から出射されるレーザ光は、パルス光であってもよく、連続光であってもよい。
可動ステージ32は、蛍光染色標本33が載置されるステージである。可動ステージ32は、レーザ光源31から出射されたレーザ光が蛍光染色標本33を2次元状に走査するように水平に移動することができる。
蛍光染色標本33は、例えば、病理診断などの目的のために、人体から採取された検体又は組織サンプルから作製され、複数の蛍光色素を用いて染色された標本である。蛍光染色標本33は、採取された組織を構成する細胞などの測定対象Sを多数含む。蛍光染色標本33は、可動ステージ32にて水平に移動されることにより、蛍光染色標本33に含まれる多数の測定対象Sに対して、レーザ光源31から出射されたレーザ光を順次照射させることができる。
分光部34は、レーザ光を照射された測定対象Sから発せられる蛍光を連続した波長のスペクトルに分光する光学素子である。分光部34は、例えば、プリズム又はグレーティングなどであってもよい。また、代替的には、分光部34は、レーザ光を照射された測定対象Sから発せられる蛍光を所定の検出波長域ごとに分光する光学素子であってもよい。このような場合、分光部34は、例えば、ダイクロイックミラー又は光学フィルタを少なくとも1つ以上含んで構成される。分光部34は、ダイクロイックミラー及び光学フィルタ等の光学部材によって測定対象Sからの蛍光を所定の検出波長域の光に分光することができる。したがって、分光部34にて分光された所定の検出波長域の光は、後段の撮像素子35にて検出され得る。
撮像素子35は、CCD(Charge Coupled Device)センサ又はCMOS(Complementary Metal-Oxide-Semiconductor)センサなどの受光素子を2次元に配置した2次元イメージセンサである。
撮像素子35は、蛍光染色標本33に含まれる測定対象Sから発せられた後、分光部34によって分光された蛍光を2次元に配置された受光素子の各々で受光することで、画像信号を出力する。レーザ光が照射された測定対象Sが発する蛍光は、分光部34によって分光されているため、撮像素子35は、領域ごとに異なる波長域の蛍光を受光し、受光した蛍光強度に応じた画像信号を出力することができる。
以上の構成を備える蛍光イメージング装置30では、蛍光染色標本33に含まれる測定対象Sから発せられる蛍光は、分光部34によって分光された後、撮像素子35の受光素子の各々により検出される。したがって、撮像素子35が出力する画像信号は、多次元データとなるため、上述のフローサイトメータ10の測定データと同様に、上述の各実施形態にて説明した情報処理装置にて次元圧縮することが可能である。
上述の各実施形態に係る情報処理装置にて次元圧縮される多次元データは、撮像素子35にて取得された位置情報に対応付けられた画像信号であってもよい。また、蛍光染色標本33の画像がセグメンテーション処理される場合、情報処理装置にて次元圧縮される多次元データは、セグメンテーション処理にて得られた領域に対応付けられた画像データであってもよい。
なお、本開示に係る技術は、蛍光情報を取得する蛍光イメージング装置に限らず、生体標本の画像を撮像素子で取得する顕微鏡装置全般に適用することが可能である。例えば、複数の切片からなる生体標本の各切片にHE(Hematoxylin Eosin)染色又は免疫組織染色などの染色処理を施し、染色処理された各切片の画像を取得する場合、生体標本上の位置情報に対応付けて複数の画像から取得された画像データを多次元データとして用いることが可能である。また、生体標本の複数の画像がセグメンテーション処理される場合、セグメンテーション処理にて得られた領域に対応付けられた画像データを多次元データとして用いることも可能である。
<5.ハードウェア構成例>
さらに、図14を参照して、本実施形態に係る情報処理装置100、101、102のハードウェア構成について説明する。図14は、本実施形態に係る情報処理装置100、101、102のハードウェア構成例を示すブロック図である。
さらに、図14を参照して、本実施形態に係る情報処理装置100、101、102のハードウェア構成について説明する。図14は、本実施形態に係る情報処理装置100、101、102のハードウェア構成例を示すブロック図である。
本実施形態に係る情報処理装置100、101、102の機能は、ソフトウェアと、以下で説明するハードウェアとの協働によって実現される。例えば、上述した学習部120、次元圧縮部140、及び集団特定部160の機能は、CPU901により実行されてもよい。
図14に示すように、情報処理装置100、101、102は、CPU(Central Processing Unit)901、ROM(Read Only Memory)903、及びRAM(Random Access Memory)905を含む。
また、情報処理装置100、101、102は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、及び通信装置925をさらに含んでもよい。さらに、情報処理装置100、101、102は、CPU901に替えて、又はCPU901と共に、DSP(Digital Signal Processor)、又はASIC(Application Specific Integrated Circuit)などの他の処理回路を有してもよい。
CPU901は、演算処理装置又は制御装置として機能し、ROM903、RAM905、ストレージ装置919、又はリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置100、101、102の動作全般を制御する。ROM903は、CPU901が使用するプログラム、及び演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラム、及びその実行の際に使用するパラメータなどを一時的に記憶する。
CPU901、ROM903、及びRAM905は、CPUバスなどの内部バスにて構成されるホストバス907により相互に接続される。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続される。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、又はレバーなどのユーザからの入力を受け付ける装置である。入力装置915は、ユーザの音声を検出するマイクロフォンなどであってもよい。また、入力装置915は、例えば、赤外線、又はその他の電波を利用したリモートコントロール装置であってもよく、情報処理装置100、101、102の操作に対応した外部接続機器929であってもよい。
入力装置915は、ユーザが入力した情報に基づいて生成した入力信号をCPU901に出力する入力制御回路をさらに含む。ユーザは、入力装置915を操作することによって、情報処理装置100、101、102に対して各種データの入力、又は処理動作の指示を行うことができる。
出力装置917は、情報処理装置100、101、102にて取得又は生成された情報をユーザに対して視覚的又は聴覚的に提示することが可能な装置である。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、OLED(Organic Light Emitting Diode)ディスプレイ、ホログラム、又はプロジェクタなどの表示装置であってもよい。また、出力装置917は、スピーカ又はヘッドホンなどの音出力装置であってもよく、プリンタ装置などの印刷装置であってもよい。出力装置917は、情報処理装置100、101、102の処理により得られた情報をテキスト若しくは画像などの映像、又は音声若しくは音響などの音として出力してもよい。出力装置917は、例えば、上記の出力部150として機能してもよい。
ストレージ装置919は、情報処理装置100、101、102の記憶部の一例として構成されたデータ格納装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイスなどにより構成されてもよい。ストレージ装置919は、CPU901が実行するプログラム、各種データ、又は外部から取得した各種データなどを格納することができる。ストレージ装置919は、例えば、上記の学習モデル記憶部130として機能してもよい。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体927の読み取り又は書き込み装置であり、情報処理装置100、101、102に内蔵又は外付けされる。例えば、ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出してRAM905に出力することができる。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込むことができる。
接続ポート923は、外部接続機器929を情報処理装置100、101、102に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、又はSCSI(Small Computer System Interface)ポートなどであってもよい。また、接続ポート923は、RS-232Cポート、光オーディオ端子、又はHDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923は、外部接続機器929と接続されることで、情報処理装置100、101、102と外部接続機器929との間で各種データの送受信を行うことができる。接続ポート923は、例えば、上記の入力部110又は出力部150として機能してもよい。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線又は無線LAN(Local Area Network)、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カードなどであってもよい。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデムなどであってもよい。通信装置925は、例えば、上記の入力部110又は出力部150として機能してもよい。
通信装置925は、例えば、インターネット、又は他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信することができる。通信装置925に接続される通信ネットワーク931は、有線又は無線によって接続されたネットワークであり、例えば、インターネット通信網、家庭内LAN、赤外線通信網、ラジオ波通信網、又は衛星通信網などであってもよい。
なお、コンピュータに内蔵されるCPU901、ROM903、及びRAM905などのハードウェアに上記の情報処理装置100、101、102と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録したコンピュータに読み取り可能な記録媒体も提供可能である。
さらに、各実施形態で説明した構成および動作の全てが本開示の構成および動作として必須であるとは限らない。たとえば、各実施形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素は、任意の構成要素として理解されるべきである。
本明細書および添付の特許請求の範囲全体で使用される用語は、「限定的でない」用語と解釈されるべきである。例えば、「含む」又は「含まれる」という用語は、「含まれるとして記載された様態に限定されない」と解釈されるべきである。「有する」という用語は、「有するとして記載された様態に限定されない」と解釈されるべきである。
本明細書で使用した用語には、単に説明の便宜のために用いており、構成及び動作を限定する目的で使用したわけではない用語が含まれる。たとえば、「右」、「左」、「上」、「下」などの用語は、参照している図面上での方向を示しているにすぎない。また、「内側」、「外側」という用語は、それぞれ、注目要素の中心に向かう方向、注目要素の中心から離れる方向を示しているにすぎない。これらに類似する用語や同様の趣旨の用語についても同様である。
なお、本開示にかかる技術は、以下のような構成を取ることも可能である。以下の構成を備える本開示にかかる技術によれば、入力データである多次元データは、既に学習が行われた学習モデルを用いて、確率的処理を行わない次元圧縮方法にて次元圧縮されるようになる。よって、情報処理装置は、多次元データをより高速かつ高い再現性で次元圧縮することができるため、多次元データをより容易に解析することが可能となる。本開示にかかる技術が奏する効果は、ここに記載された効果に必ずしも限定されるわけではなく、本開示中に記載されたいずれの効果であってもよい。
(1)
生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成された学習モデルに基づいて、入力データに対する次元圧縮データを生成する次元圧縮部
を備える、情報処理装置。
(2)
前記学習モデルは、前記入力層と、前記入力層よりもノードの数が少ない少なくとも1層以上の中間層と、前記入力層とノードの数が同じ出力層とを含む前記ニューラルネットワークのネットワーク構造及び重み付けを含む、上記(1)に記載の情報処理装置。
(3)
前記学習モデルは、オートエンコーダである、上記(2)に記載の情報処理装置。
(4)
前記学習モデルは、確率的処理を行わない、上記(3)に記載の情報処理装置。
(5)
前記次元圧縮データは、前記中間層の各ノードからの出力データである、上記(2)~(4)のいずれか一項に記載の情報処理装置。
(6)
前記次元圧縮データは、3次元以下に次元圧縮されたデータである、上記(1)~(5)のいずれか一項に記載の情報処理装置。
(7)
前記入力データは、前記生体由来物質から取得された多次元データである、上記(1)~(6)のいずれか一項に記載の情報処理装置。
(8)
前記入力データは、前記学習モデルの生成に用いられたデータと同一のデータである、上記(7)に記載の情報処理装置。
(9)
前記入力データは、前記学習モデルの生成に用いられたデータと異なるデータである、上記(7)に記載の情報処理装置。
(10)
前記入力データは、生体由来粒子から取得された蛍光強度又は散乱光強度を含む多次元データである、上記(7)~(9)のいずれか一項に記載の情報処理装置。
(11)
前記次元圧縮データに基づいて、前記入力データを取得した前記生体由来粒子を分取する分取部を制御する分取制御部をさらに備える、上記(10)に記載の情報処理装置。
(12)
前記学習モデルを生成する学習部をさらに備える、上記(1)~(11)のいずれか一項に記載の情報処理装置。
(13)
生体由来物質から取得された同一の多次元データを入力層及び出力層に適用したニューラルネットワークによって学習モデルを生成する学習部
を備える、情報処理装置。
(14)
生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成された学習モデルに基づいて、入力データに対する次元圧縮データを生成する次元圧縮部と、
前記次元圧縮データに基づいて、前記入力データを取得した生体由来粒子を分取する分取部を制御する分取制御部と
を備える、分取システム。
(15)
演算処理装置によって、
生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成された学習モデルに基づいて、入力データに対する次元圧縮データを生成すること
を含む、情報処理方法。
(16)
コンピュータを、
生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成された学習モデルに基づいて、入力データに対する次元圧縮データを生成する次元圧縮部
として機能させる、プログラム。
(17)
流路内を通流する生体由来粒子に対して、光を照射するレーザ光源と、
前記生体由来粒子からの光を検出する光検出器と、
学習モデルに基づいて、前記光検出器で得られた測定データに対する次元圧縮データを生成する次元圧縮部と、を備え、
前記学習モデルは、生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成される、フローサイトメータシステム。
(18)
前記生体由来物質は、前記生体由来粒子と同一の蛍光色素で標識された粒子である、上記(17)に記載のフローサイトメータシステム。
(19)
前記学習モデルは、前記入力層と、前記入力層よりもノードの数が少ない少なくとも1層以上の中間層と、前記入力層とノードの数が同じ出力層とを含む前記ニューラルネットワークのネットワーク構造及び重み付けを含む、上記(17)又は(18)に記載のフローサイトメータシステム。
(20)
前記学習モデルは、オートエンコーダである、上記(19)に記載のフローサイトメータシステム。
(21)
前記学習モデルは、確率的処理を行わない、上記(20)に記載のフローサイトメータシステム。
(22)
前記次元圧縮データは、前記中間層の各ノードからの出力データである、上記(19)~(21)のいずれか一項に記載のフローサイトメータシステム。
(23)
前記次元圧縮データは、3次元以下に次元圧縮されたデータである、上記(17)~(22)のいずれか一項に記載のフローサイトメータシステム。
(24)
前記学習モデルの生成に用いられたデータは、前記測定データと同一のデータである、上記(17)~(23)のいずれか一項に記載のフローサイトメータシステム。
(25)
前記学習モデルの生成に用いられたデータは、前記測定データと異なるデータである、上記(17)~(23)のいずれか一項に記載のフローサイトメータシステム。
(26)
前記測定データは、前記生体由来粒子から取得された蛍光強度又は散乱光強度を含む多次元データである、上記(17)~(23)のいずれか一項に記載のフローサイトメータシステム。
(27)
流路内を通流する生体由来粒子に対して、光を照射するレーザ光源と、
前記生体由来粒子からの光を検出する光検出器と、
学習モデルに基づいて、前記検出部で得られた測定データに対する次元圧縮データを生成する次元圧縮部と、
前記次元圧縮データに基づいて、前記生体由来粒子を分取する分取部と、を備え、
前記学習モデルは、生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成される、分取システム。
(28)
前記生体由来物質は、前記生体由来粒子と同一の蛍光色素で標識された粒子である、上記(27)に記載の分取システム。
(29)
前記学習データの生成に用いられるデータは、前記生体由来粒子から予め取得された多次元データである、上記(27)又は(28)に記載の分取システム。
(30)
前記学習モデルは、前記入力層と、前記入力層よりもノードの数が少ない少なくとも1層以上の中間層と、前記入力層とノードの数が同じ出力層とを含む前記ニューラルネットワークのネットワーク構造及び重み付けを含む、上記(27)~(29)のいずれか一項に記載の分取システム。
(31)
前記学習モデルは、オートエンコーダである、上記(30)に記載の分取システム。
(32)
前記学習モデルは、確率的処理を行わない、上記(31)に記載の分取システム。
(33)
前記次元圧縮データは、前記中間層の各ノードからの出力データである、上記(30)~(32)のいずれか一項に記載の分取システム。
(34)
前記次元圧縮データは、3次元以下に次元圧縮されたデータである、上記(27)~(33)のいずれか一項に記載の分取システム。
(35)
前記測定データは、前記生体由来粒子から取得された蛍光強度又は散乱光強度を含む多次元データである、上記(28)~(34)のいずれか一項に記載の分取システム。
(1)
生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成された学習モデルに基づいて、入力データに対する次元圧縮データを生成する次元圧縮部
を備える、情報処理装置。
(2)
前記学習モデルは、前記入力層と、前記入力層よりもノードの数が少ない少なくとも1層以上の中間層と、前記入力層とノードの数が同じ出力層とを含む前記ニューラルネットワークのネットワーク構造及び重み付けを含む、上記(1)に記載の情報処理装置。
(3)
前記学習モデルは、オートエンコーダである、上記(2)に記載の情報処理装置。
(4)
前記学習モデルは、確率的処理を行わない、上記(3)に記載の情報処理装置。
(5)
前記次元圧縮データは、前記中間層の各ノードからの出力データである、上記(2)~(4)のいずれか一項に記載の情報処理装置。
(6)
前記次元圧縮データは、3次元以下に次元圧縮されたデータである、上記(1)~(5)のいずれか一項に記載の情報処理装置。
(7)
前記入力データは、前記生体由来物質から取得された多次元データである、上記(1)~(6)のいずれか一項に記載の情報処理装置。
(8)
前記入力データは、前記学習モデルの生成に用いられたデータと同一のデータである、上記(7)に記載の情報処理装置。
(9)
前記入力データは、前記学習モデルの生成に用いられたデータと異なるデータである、上記(7)に記載の情報処理装置。
(10)
前記入力データは、生体由来粒子から取得された蛍光強度又は散乱光強度を含む多次元データである、上記(7)~(9)のいずれか一項に記載の情報処理装置。
(11)
前記次元圧縮データに基づいて、前記入力データを取得した前記生体由来粒子を分取する分取部を制御する分取制御部をさらに備える、上記(10)に記載の情報処理装置。
(12)
前記学習モデルを生成する学習部をさらに備える、上記(1)~(11)のいずれか一項に記載の情報処理装置。
(13)
生体由来物質から取得された同一の多次元データを入力層及び出力層に適用したニューラルネットワークによって学習モデルを生成する学習部
を備える、情報処理装置。
(14)
生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成された学習モデルに基づいて、入力データに対する次元圧縮データを生成する次元圧縮部と、
前記次元圧縮データに基づいて、前記入力データを取得した生体由来粒子を分取する分取部を制御する分取制御部と
を備える、分取システム。
(15)
演算処理装置によって、
生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成された学習モデルに基づいて、入力データに対する次元圧縮データを生成すること
を含む、情報処理方法。
(16)
コンピュータを、
生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成された学習モデルに基づいて、入力データに対する次元圧縮データを生成する次元圧縮部
として機能させる、プログラム。
(17)
流路内を通流する生体由来粒子に対して、光を照射するレーザ光源と、
前記生体由来粒子からの光を検出する光検出器と、
学習モデルに基づいて、前記光検出器で得られた測定データに対する次元圧縮データを生成する次元圧縮部と、を備え、
前記学習モデルは、生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成される、フローサイトメータシステム。
(18)
前記生体由来物質は、前記生体由来粒子と同一の蛍光色素で標識された粒子である、上記(17)に記載のフローサイトメータシステム。
(19)
前記学習モデルは、前記入力層と、前記入力層よりもノードの数が少ない少なくとも1層以上の中間層と、前記入力層とノードの数が同じ出力層とを含む前記ニューラルネットワークのネットワーク構造及び重み付けを含む、上記(17)又は(18)に記載のフローサイトメータシステム。
(20)
前記学習モデルは、オートエンコーダである、上記(19)に記載のフローサイトメータシステム。
(21)
前記学習モデルは、確率的処理を行わない、上記(20)に記載のフローサイトメータシステム。
(22)
前記次元圧縮データは、前記中間層の各ノードからの出力データである、上記(19)~(21)のいずれか一項に記載のフローサイトメータシステム。
(23)
前記次元圧縮データは、3次元以下に次元圧縮されたデータである、上記(17)~(22)のいずれか一項に記載のフローサイトメータシステム。
(24)
前記学習モデルの生成に用いられたデータは、前記測定データと同一のデータである、上記(17)~(23)のいずれか一項に記載のフローサイトメータシステム。
(25)
前記学習モデルの生成に用いられたデータは、前記測定データと異なるデータである、上記(17)~(23)のいずれか一項に記載のフローサイトメータシステム。
(26)
前記測定データは、前記生体由来粒子から取得された蛍光強度又は散乱光強度を含む多次元データである、上記(17)~(23)のいずれか一項に記載のフローサイトメータシステム。
(27)
流路内を通流する生体由来粒子に対して、光を照射するレーザ光源と、
前記生体由来粒子からの光を検出する光検出器と、
学習モデルに基づいて、前記検出部で得られた測定データに対する次元圧縮データを生成する次元圧縮部と、
前記次元圧縮データに基づいて、前記生体由来粒子を分取する分取部と、を備え、
前記学習モデルは、生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成される、分取システム。
(28)
前記生体由来物質は、前記生体由来粒子と同一の蛍光色素で標識された粒子である、上記(27)に記載の分取システム。
(29)
前記学習データの生成に用いられるデータは、前記生体由来粒子から予め取得された多次元データである、上記(27)又は(28)に記載の分取システム。
(30)
前記学習モデルは、前記入力層と、前記入力層よりもノードの数が少ない少なくとも1層以上の中間層と、前記入力層とノードの数が同じ出力層とを含む前記ニューラルネットワークのネットワーク構造及び重み付けを含む、上記(27)~(29)のいずれか一項に記載の分取システム。
(31)
前記学習モデルは、オートエンコーダである、上記(30)に記載の分取システム。
(32)
前記学習モデルは、確率的処理を行わない、上記(31)に記載の分取システム。
(33)
前記次元圧縮データは、前記中間層の各ノードからの出力データである、上記(30)~(32)のいずれか一項に記載の分取システム。
(34)
前記次元圧縮データは、3次元以下に次元圧縮されたデータである、上記(27)~(33)のいずれか一項に記載の分取システム。
(35)
前記測定データは、前記生体由来粒子から取得された蛍光強度又は散乱光強度を含む多次元データである、上記(28)~(34)のいずれか一項に記載の分取システム。
本出願は、日本国特許庁において2020年8月13日に出願された日本特許出願番号2020-136770号を基礎として優先権を主張するものであり、この出願の全ての内容を参照によって本出願に援用する。
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。
Claims (17)
- 生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成された学習モデルに基づいて、入力データに対する次元圧縮データを生成する次元圧縮部
を備える、情報処理装置。 - 前記学習モデルは、前記入力層と、前記入力層よりもノードの数が少ない少なくとも1層以上の中間層と、前記入力層とノードの数が同じ出力層とを含む前記ニューラルネットワークのネットワーク構造及び重み付けを含む、請求項1に記載の情報処理装置。
- 前記学習モデルは、オートエンコーダである、請求項2に記載の情報処理装置。
- 前記学習モデルは、確率的処理を行わない、請求項3に記載の情報処理装置。
- 前記次元圧縮データは、前記中間層の各ノードからの出力データである、請求項2に記載の情報処理装置。
- 前記次元圧縮データは、3次元以下に次元圧縮されたデータである、請求項1に記載の情報処理装置。
- 前記入力データは、前記生体由来物質から取得された多次元データである、請求項1に記載の情報処理装置。
- 前記入力データは、前記学習モデルの生成に用いられたデータと同一のデータである、請求項7に記載の情報処理装置。
- 前記入力データは、前記学習モデルの生成に用いられたデータと異なるデータである、請求項7に記載の情報処理装置。
- 前記入力データは、生体由来粒子から取得された蛍光強度又は散乱光強度を含む多次元データである、請求項7に記載の情報処理装置。
- 前記次元圧縮データに基づいて、前記入力データを取得した前記生体由来粒子を分取する分取部を制御する分取制御部をさらに備える、請求項10に記載の情報処理装置。
- 前記学習モデルを生成する学習部をさらに備える、請求項1に記載の情報処理装置。
- 流路内を通流する生体由来粒子に対して、光を照射するレーザ光源と、
前記生体由来粒子からの光を検出する光検出器と、
学習モデルに基づいて、前記光検出器で得られた測定データに対する次元圧縮データを生成する次元圧縮部と、を備え、
前記学習モデルは、生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成される、フローサイトメータシステム。 - 前記生体由来物質は、前記生体由来粒子と同一の蛍光色素で標識された粒子である、請求項13に記載のフローサイトメータシステム。
- 流路内を通流する生体由来粒子に対して、光を照射するレーザ光源と、
前記生体由来粒子からの光を検出する光検出器と、
学習モデルに基づいて、前記光検出器で得られた測定データに対する次元圧縮データを生成する次元圧縮部と、
前記次元圧縮データに基づいて、前記生体由来粒子を分取する分取部と、を備え、
前記学習モデルは、生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成される、分取システム。 - 前記学習データの生成に用いられるデータは、前記生体由来粒子から予め取得された多次元データである、請求項15に記載の分取システム。
- 演算処理装置によって、
生体由来物質から取得された同一のデータを入力層及び出力層に適用したニューラルネットワークによって生成された学習モデルに基づいて、入力データに対する次元圧縮データを生成すること
を含む、情報処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202180057168.4A CN116113819A (zh) | 2020-08-13 | 2021-08-03 | 信息处理装置、流式细胞仪系统、分选系统及信息处理方法 |
US18/019,458 US20230296492A1 (en) | 2020-08-13 | 2021-08-03 | Information processing apparatus, flow cytometer system, sorting system, and information processing method |
JP2022542813A JPWO2022034830A1 (ja) | 2020-08-13 | 2021-08-03 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-136770 | 2020-08-13 | ||
JP2020136770 | 2020-08-13 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022034830A1 true WO2022034830A1 (ja) | 2022-02-17 |
Family
ID=80247859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/028740 WO2022034830A1 (ja) | 2020-08-13 | 2021-08-03 | 情報処理装置、フローサイトメータシステム、分取システム、及び情報処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230296492A1 (ja) |
JP (1) | JPWO2022034830A1 (ja) |
CN (1) | CN116113819A (ja) |
WO (1) | WO2022034830A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021143988A (ja) * | 2020-03-13 | 2021-09-24 | ソニーグループ株式会社 | 粒子解析システムおよび粒子解析方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150093779A1 (en) * | 2011-06-22 | 2015-04-02 | The Johns Hopkins University | System and device for characterizing cells |
WO2018181458A1 (ja) * | 2017-03-29 | 2018-10-04 | シンクサイト株式会社 | 学習結果出力装置及び学習結果出力プログラム |
JP2019512697A (ja) * | 2016-03-16 | 2019-05-16 | シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | デジタルホログラフィ顕微鏡検査および無傷の(untouched)末梢血白血球を用いる高精度の5部鑑別(5−part Differential) |
WO2020100667A1 (ja) * | 2018-11-16 | 2020-05-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
-
2021
- 2021-08-03 JP JP2022542813A patent/JPWO2022034830A1/ja active Pending
- 2021-08-03 WO PCT/JP2021/028740 patent/WO2022034830A1/ja active Application Filing
- 2021-08-03 CN CN202180057168.4A patent/CN116113819A/zh active Pending
- 2021-08-03 US US18/019,458 patent/US20230296492A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150093779A1 (en) * | 2011-06-22 | 2015-04-02 | The Johns Hopkins University | System and device for characterizing cells |
JP2019512697A (ja) * | 2016-03-16 | 2019-05-16 | シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | デジタルホログラフィ顕微鏡検査および無傷の(untouched)末梢血白血球を用いる高精度の5部鑑別(5−part Differential) |
WO2018181458A1 (ja) * | 2017-03-29 | 2018-10-04 | シンクサイト株式会社 | 学習結果出力装置及び学習結果出力プログラム |
WO2020100667A1 (ja) * | 2018-11-16 | 2020-05-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20230296492A1 (en) | 2023-09-21 |
JPWO2022034830A1 (ja) | 2022-02-17 |
CN116113819A (zh) | 2023-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mikami et al. | Virtual-freezing fluorescence imaging flow cytometry | |
JP2022008632A (ja) | 分析方法 | |
Anagnostidis et al. | Deep learning guided image-based droplet sorting for on-demand selection and analysis of single cells and 3D cell cultures | |
JP7075126B2 (ja) | 画像ベースの細胞分取システムおよび方法 | |
CN104136907B (zh) | 分析和分选流入对象 | |
CN104285175B (zh) | 使用小波分析进行单颗粒定位的方法和装置 | |
JP7540567B2 (ja) | 分取システム、及び分取方法 | |
US10180398B2 (en) | Trajectory-based triggering system for hyperspectral imaging flow cytometer | |
WO2021100622A1 (ja) | 情報処理システムおよび情報処理装置 | |
JP2010512508A (ja) | 量子ドットで染色された組織試料の定量的マルチ・スペクトル画像の分析 | |
JP7489968B2 (ja) | 細胞選別装置及び方法 | |
WO2021039341A1 (ja) | 情報処理装置、表示方法、プログラム及び情報処理システム | |
CN110334691A (zh) | 微生物水质监测方法、系统及存储介质 | |
WO2022034830A1 (ja) | 情報処理装置、フローサイトメータシステム、分取システム、及び情報処理方法 | |
US20240288354A1 (en) | Particle analysis system, information processing apparatus, and sorting apparatus | |
Bhakdi et al. | Easy employment and crosstalk-free detection of seven fluorophores in a widefield fluorescence microscope | |
EP3796212B1 (en) | Device for image-based cell classification, method therefor and use thereof | |
CN114270168A (zh) | 信息处理设备、信息处理方法、程序和信息处理系统 | |
Stojanović et al. | Multiplex label free characterization of cancer cell lines using surface plasmon resonance imaging | |
US20240241031A1 (en) | Classification Model Generation Method, Particle Determination Method, and Recording Medium | |
CN113340894B (zh) | 一种非透明微粒的检测方法 | |
Malkusch | High resolution as a key feature to perform accurate ELISPOT measurements using Zeiss KS ELISPOT readers | |
Gu | Image-Guided Cell Classification and Sorting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21855909 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022542813 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21855909 Country of ref document: EP Kind code of ref document: A1 |