CN107580715B - 用于自动计数微生物菌落的方法和系统 - Google Patents
用于自动计数微生物菌落的方法和系统 Download PDFInfo
- Publication number
- CN107580715B CN107580715B CN201680023381.2A CN201680023381A CN107580715B CN 107580715 B CN107580715 B CN 107580715B CN 201680023381 A CN201680023381 A CN 201680023381A CN 107580715 B CN107580715 B CN 107580715B
- Authority
- CN
- China
- Prior art keywords
- image
- colony
- features
- images
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
- C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
- C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
- C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
- C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Organic Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Wood Science & Technology (AREA)
- Zoology (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biotechnology (AREA)
- Biochemistry (AREA)
- Microbiology (AREA)
- Analytical Chemistry (AREA)
- Proteomics, Peptides & Aminoacids (AREA)
- Genetics & Genomics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Immunology (AREA)
- Sustainable Development (AREA)
- Biophysics (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Image Processing (AREA)
- Dairy Products (AREA)
Abstract
本公开涉及用于评估平板培养基上的生长的自动化方法,所述方法包括:提供接种有生物样品的培养基(202);温育接种过的培养基(204);在温育之后,在第一时间获得所述接种过的培养基的第一图像(206);在进一步温育之后,在第二时间获得所述接种过的培养基的第二图像(206);将所述第一图像与所述第二图像对准,从而所述第二图像中的像素坐标与所述第一图像中的相应像素坐标大约相同;将所述第二图像的图像特征与所述第一图像的图像特征进行比较;基于从第一时间到第二时间的图像特征变化将所述第二图像的图像特征分类为菌落候选者;对于被确定为来自在所述培养基上接种的所述生物样品中的普通微生物的菌落候选者,对所述菌落候选者进行计数;并且确定计数的菌落的数量是否达到或超过存储器中存储的并且指示显著生长的阈值计数值。
Description
相关申请的交叉参考
本申请请求保护在2015年4月23日提交的美国临时申请号62/151,688和2016年4月5日提交的美国临时申请号62/318,488的申请日的权益,其公开内容在此通过引用并入本文。
背景技术
人们更加专注于用于检测微生物生长的培养平板的数字成像。在PCT公布号WO2015/114121中描述了对用于检测微生物生长的平板进行成像的技术,其全部内容通过参照被包含在本文中。利用这种技术,实验人员不再需要通过直接的视觉检查来读取平板,而是可以利用高品质数字图像进行平板检查。将实验室工作流程和作决定转移到检查培养平板的数字图像也能够提高效率。图像可以被操作员做标记,以便由操作员或具有适当技能的另一个人做进一步的整理。额外的图像也可以被拍摄并且用于指导次要的过程。
菌落检测、菌落计数、菌落种群区分和菌落识别限定了现代微生物学成像系统的目标。使这些目标尽可能早地实现达到了将结果迅速地传送给患者并且经济地提供这些结果和分析的目的。使实验室工作流程和作决定自动化能够改进可以达到这些目的的速度和成本。
尽管关于用于检测微生物生长迹象的成像技术已经取得了显著的进展,但仍然在寻求延展这种成像技术以便支持自动化的工作流程。用于对指示微生物生长的培养平板进行检查的设备和方法很难自动化,部分原因是由于平板检查的高度可视特征。就这点而言,希望发展可以自动地解释培养平板图像并且基于自动化的解释而确定接下来将要实施的步骤(例如菌落的识别、敏感性测试等)的技术。
例如,在平板培养物中计数菌落可能是困难的,尤其是当菌落具有不同的大小和形状并且彼此接触时。当生长在平板的一些区域中已经达到汇合时,这些问题被加重。由于这些原因,如果可能的话,优选在温育过程的早期计数CFU。然而,用于温育的时间仍然是需要的,以允许菌落的至少一些生长。因此,一方面,菌落被允许生长得越长,它们开始与背景以及相互之间形成的对比越多,并且越容易对它们进行计数。然而,另一方面,如果菌落被允许生长得太长,并且它们开始充满平板和/或相互接触,从而在平板上形成汇合区域,则会变得更加难以将它们相互对比,使计数更加困难。如果人们能够在菌落仍然足够小以便彼此分离时的温育时间检测菌落,尽管对比相对弱,或者即使当菌落大到足以在平板上形成汇合区域时,如果人们能够估计菌落计数,该问题能够被解决。
发明内容
本公开的一个方面涉及用于评估平板培养基上的生长的自动化方法,包括:提供接种有生物样品的培养基;温育接种过的培养基;在温育之后,在第一时间(t1)获得接种过的培养基的第一图像;在进一步温育之后,在第二时间(t2)获得接种过的培养基的第二图像;将所述第一图像与所述第二图像对准,从而所述第二图像中的像素的坐标大约与所述第一图像中的对应像素的坐标相同;将所述第二图像的图像特征与所述第一图像的图像特征进行比较;基于图像特征从时间t1到时间t2的变化将所述第二图像的图像特征分类为菌落候选者;对于被确定为来自在所述培养基上被接种的生物样品中的普通微生物的菌落候选者,对所述菌落候选者进行计数;并且确定被计数的菌落数量是否达到或者超过存储器中储存的并且指示显著生长的阈值计数值。
在一些实例中,如果被计数的菌落数量达到或超过所述阈值计数值,则所述方法可以进一步包括:利用基质辅助激光解吸电离(MALDI)识别至少一个菌落;测试所述至少一个菌落的抗菌敏感性;并且输出包含MALDI和抗菌敏感性测试结果的报告。多个阈值计数值可以被储存在所述存储器中,每个阈值计数值与一种不同的微生物相关联。
在一些实例中,将所述第二图像的图像特征分类为菌落候选者可以包括:确定所述第二图像的对比信息,所述对比信息包含空间对比信息和时间对比信息中的至少一种,所述空间对比信息指示所述第二图像的像素之间的差别,所述时间对比信息指示所述第二图像的像素和前一图像的对应像素之间的差别;基于所述对比信息识别所述第二图像中的物体;并且从在所述第一和第二图像中相关联的像素信息中获得被识别的物体的一个或多个物体特征,其中基于所述物体特征将所述物体分类为菌落候选者。所述方法可以进一步包括基于与所述菌落候选者相关联的像素信息为每个菌落候选者确定所述菌落候选者是菌落还是假象,其中被确定为假象的菌落候选者不进行计数。确定菌落候选者是菌落还是假象可以进一步包括确定所述菌落候选者是否存在于所述第一和第二图像的每一个中,并且根据阈值生长因子是否在所述第二图像中比在所述第一图像中大,其中存在于两个图像中并且根据至少阈值生长因子在所述第二图像中较大的菌落候选者被分类为菌落。确定菌落候选者是菌落还是假象可以进一步包括对于存在于所述第二图像中并且不存在于所述第一图像中的菌落候选者,从与所述第二图像中的物体相关联的像素信息中获得被识别的物体的一个或多个物体特征;基于所述的一个或多个物体特征确定所述菌落候选者为菌落的概率;并且将确定的概率与预定的阈值概率值进行比较,其中,如果所述确定的概率大于所述预定的阈值概率值,则所述菌落候选者被分类为菌落。所述方法可以进一步包括:将(i)存在于两个图像中并且在所述第二图像中不是较大的菌落候选者和(ii)存在于所述第一图像中并且不存在于所述第二图像中的菌落候选者分类为确切的假象;将存在于所述第一和第二图像的每一个中并且根据所述阈值生长因子在所述第二图像中较大的菌落候选者分类为确切的菌落;并且基于所述确切的假象和所述确切的菌落的组合计算假象概率值,其中菌落候选者为菌落的确定的概率进一步基于假象概率。
在一些实例中,所述物体特征可以包括物体形状、物体大小、物体边缘、物体颜色、物体像素的颜色、色调、亮度和色度中的至少一个。所述方法可以进一步包括获得背景特征信息,其中背景特征信息包括培养基类型和培养基颜色,并且其中进一步基于所述背景特征信息将所述物体分类为菌落候选者。在一些实例中,将所述第一图像与所述第二图像对准可以包括将极坐标分配到所述第一和第二图像中的每一个的像素,从而所述第二图像中的像素的极坐标与所述第一图像中的对应像素的极坐标相同。
本公开的另一方面涉及用于估计平板培养基上的菌落形成单位的数量的自动化方法,所述平板培养基已经根据预定的模式接种有培养物并且温育,包括:在温育所述培养基之后获得所述平板培养基的数字图像;从所述数字图像识别所述图像中的菌落候选者;根据所述预定的模式将所述数字图像进行线性化;根据所述数字图像的线性化坐标的像素绘制所述菌落候选者;并且基于所述线性化的数字图像中的所述菌落候选者的像素估计所述平板培养基上的菌落形成单位的数量。
在一些实例中,从中获得图像的所述平板培养基可以已经采用沿着连续的Z字形模式划线的磁控珠接种,其中可以根据所述Z字形划线模式将所述数字图像进行线性化,所述Z字形划线模式是线性化图像的主轴。可以从菌落候选者的绘图中估计所述磁控珠的原始珠负载(initial bead load)。估计所述原始珠负载可以包括:沿着所述线性化图像的所述主轴选择离原点的一个距离;确定菌落形成单位被所述珠在所述选择的距离处释放的概率;并且计数存在于所述数字图像中的菌落形成单位的数量,所述菌落形成单位沿着所述主轴比所述选择的距离更加远离原点,其中被估计的原始珠负载等于所述确定的概率和所述菌落形成单位的计数数量之间的比值。所述距离可以被选择使得在图像中在比所述选择的距离更加远离所述线性化图像的原点的距离处不存在微生物生长的汇合区域。所述方法可以进一步包括:沿着所述线性化图像的所述主轴选择多个距离;为每个所述选择的距离计数在所述数字图像中存在的菌落形成单位的数量,所述菌落形成单位沿着所述主轴比所述选择的距离更加远离所述线性化图像的原点;并且当包含所述菌落形成单位的所述珠的一个点与所述培养基发生接触时,基于每个距离的菌落形成单位的计数数量计算菌落形成单位被所述珠释放到所述培养基上的概率。确定菌落形成单位在给定的距离处被所述珠释放的概率可以基于当包含所述菌落形成单位的所述珠的一个点与所述培养基发生接触时所述计算的菌落形成单位被所述珠释放到所述培养基上的概率。
在一些实例中,所述方法可以进一步包括:将所述数字图像与所述存储器中存储的多个分布模型进行比较,每个分布模型示出了对于给定的原始珠负载以及当与所述培养基发生接触时所述菌落形成单位被释放到所述培养基上的给定概率,菌落形成单位在成像平板上的预期分布;并且至少部分基于被比较的分布模型确定所述原始珠负载。
在一些实例中,所述方法可以进一步包括:沿着所述线性化图像的所述主轴选择离原点的一个距离;在选择的距离处确定与菌落候选者相关联的像素分数;并且基于所述确定的分数估计所述原始珠负载。
在一些实例中,所述方法可以进一步包括:在温育所述培养物之后获得所述平板培养基的多个数字图像,每个数字图像包含一个或多个菌落候选者;识别一个数字图像,其中至少一些所述菌落候选者形成了汇合区域;识别一个较早的数字图像,其中在所述数字图像中形成汇合区域的所述菌落候选者未被组合以形成汇合区域;并且基于所述较早的数字图像评估所述汇合区域中的菌落形成单位的数量。
本公开的又一方面涉及计算机可读存储器存储介质(memory storage medium),其上具有编码的程序指令,所述编码的程序指令被配置以使处理器实施一种方法。所述方法可以是上述用于评估平板培养基上的微生物生长或者用于估计平板培养基上的菌落形成单位的数量的方法中的任一种。
本公开的再一方面涉及用于评估接种有生物样品的培养基中的生长的系统。所述系统包括图像采集装置,用于捕获所述培养基的数字图像;存储器;以及一个或多个处理器,可操作以执行用于实施方法的指令。在一些实施例中,所述存储器可以存储关于一种或多种不同培养基中一种或多种不同生物体的微生物生长的预计量的信息,并且由被执行的指令所实施的所述方法可以是上述用于评估平板培养基上的微生物生长的方法的任一种。在其它实施例中,所述存储器可以存储关于用于用所述生物样品接种所述培养基的模式的信息,并且由被执行的指令所实施的所述方法可以是上述用于评估平板培养基上的菌落形成单位的数量的方法的任一种。
附图说明
图1是根据本公开的一个方面的用于成像分析和测试培养物的系统的示意图。
图2是阐明根据本公开的一个方面的用于成像分析和测试培养物的自动化实验室工作程序的流程图。
图3A、3B和3C是示出根据本公开的一个方面的菌落形态学随时间变化的视觉表征的图像。
图3D和3E是示出菌落在不同照明条件下的视觉表征的图像。
图4是根据本公开的一个方面的用于计数菌落的一种示例程序的流程图。
图5是根据本公开的一个方面的用于收集菌落候选者的总体列表的一种示例程序的流程图。
图6是根据本公开的一个方面的用于分类菌落候选者的一种示例程序的流程图。
图7是根据本公开的一个方面的用于基于统计分析计数菌落的一种示例程序的流程图。
图8是根据本公开的一个方面的划线模式图像,用于用样品为平板培养基进行划线。
图9A是根据本公开的一个方面的被识别的菌落候选者的图像的图示。
图9B是图8中示出的划线模式的图示。
图10A和10B是根据本公开的一个方面的用于菌落形成单位(CFU)的分布模型的图示。
图11A是根据本公开的一个方面的沿着图8中示出的平板主轴的汇合比的图示。
图11B是根据本公开的一个方面的菌落生长模拟的图示。
图12是具有菌落生长的平板培养基的两个图像的边对边(side to side)描述。
图13是根据本公开的一个方面的随时间拍摄的一系列图像。
图15A、15B和15C是根据本公开的一个方面的隔离因子测定的图形描述。
图16A和16B示出了成像平板的一部分,具有图像的样品菌落的放大且重新定向的图像。
图16C是根据本公开的一个方面的图16B的部分分别放大的极坐标转换图像。
图17是将图2的程序的时间线与可比较的人工实施的过程的时间线进行比较的流程图。
具体实施方式
本公开提供了用于识别和分析平板培养基上的微生物生长的设备和方法,至少部分是基于在平板培养基的一个或多个数字图像中计数的识别出的菌落数量。本文中描述的许多方法能够全部或部分自动化,诸如被集成为完全或局部自动化的实验室工作流程的部分。
本文中描述的系统能够在用于对微生物样品成像的光学系统中被实施,用于识别微生物并且检测这种微生物的微生物生长。存在许多这种市场上可买到的系统,其在本文中未进行详细描述。一种实例是BD KiestraTM ReadA紧凑型智能培养和成像系统。其它示例的系统包括在PCT公布号WO2015/114121和美国专利出版物2015/0299639中描述的那些,其全部内容通过参照被合并在本文中。这种光学成像平台对于本领域技术人员是公知的,并且在本文中未进行详细描述。
图1是系统100的示意图,具有处理模块110和用于提供平板培养基的高品质成像的图像采集装置120(例如,相机)。处理模块和图像采集装置可以进一步被连接到其它的系统部件,并且从而进一步与其它的系统部件发生相互作用,诸如用于温育平板培养基以允许在平板培养基上接种的培养物生长的温育模块(未示出)。利用接收用于温育的样本并且将它们输送至温育箱且随后处于温育箱和图像采集装置之间的追踪系统,这种连接可以是全部或部分自动化的。
处理模块110可以基于各种类型的信息处理来指示系统100的其它部件执行任务。处理器110可以是执行一个或多个操作的硬件。处理器110可以是任何标准处理器,诸如中央处理单元(CPU),或者可以是专用处理器,诸如专用集成电路(ASIC)或者现场可编程门阵列(FPGA)。尽管示出了一个处理器方框,但系统100也可以包括多个可以并行操作或者可以不并行操作的处理器,或者其它的专用逻辑和存储器,用于存储并且追踪与温育箱和/或图像采集装置120中的样品容器相关的信息。就这点而言,处理单元可以追踪和/或储存关于系统100中的样本的几种类型的信息,包含但不局限于样本在系统中的位置(温育箱或图像采集装置,在那里的位置和/或定向等)、温育时间、被捕获图像的像素信息、样品的类型、培养基的类型、预防处理信息(例如,危险样本)等。就这点而言,处理器可以能够使本文中描述的各种程序完全或者部分自动化。在一种实施例中,用于执行本文中描述的程序的指令可以被储存在非瞬时计算机可读介质上(例如,软件程序)。
图2是示出一种示例的用于成像、分析和任选迪测试培养物的自动化实验室程序200的流程图。程序200可以被自动化微生物实验室系统实施,诸如KiestraTM Total LabAutomation或者KiestraTM Work Cell Automation,二者均由Becton,Dickenson&Co制造。示例的系统包括相互连接的模块,每个模块被构造成执行程序200的一个或多个步骤。
在202处,提供培养基并且用生物样品接种。培养基可以是一个光学透明容器,从而当从各种角度照明时,可以在容器中观察到生物样品。接种可以遵循预定的模式。划线模式和用于将样品划线至平板上的自动化方法对本领域技术人员而言是公知的。一种自动化方法利用了磁控珠将样品划线至平板上。
在本公开的一些实例中,珠根据Z字形模式(例如,参见图8)在平板上进行划线。Z字形模式的起点和终点可以被定位在平板的相对末端(例如,隔开的距离大约等于平板的直径)。在这种实例中,平板的“主轴”可以被视为一条在Z字形模式的起点处开始并且在终点处结束的直线。
在204处,培养基被温育,以允许生物样品生长。
在206处,捕获培养基和生物样品的一个或多个数字图像。如下面将更加详细描述的那样,在温育过程期间(例如,在温育开始时,在温育中间的时间,在温育结束时),可以执行多次培养基的数字成像,从而可以观察和分析培养基中的变化。培养基的成像可以涉及从温育箱去除培养基。在不同的时间拍摄培养基的多个图像的情况下,培养基可以被返回到温育箱,用于在成像期之间进一步温育。
在208处,基于来自捕获的数字图像的信息分析生物样品。分析数字图像可以涉及分析图像中包含的像素信息。在一些情况下,像素信息可以以像素为基础在像素上进行分析。在其它的情况下,像素信息可以以块为基础在块上进行分析。在更另外的情况下,可以基于像素的整个区域分析像素,从而通过组合各个像素的信息、选择样品像素或者通过利用其它的统计学方法,诸如下面更详细描述的统计学直方图操作,可以推断出区域中的各个像素的像素信息。在本文中,描述的应用于“像素”的操作类似地可应用到块或者其它像素组,并且术语“像素”由此旨在包括这种应用。
分析可以涉及确定是否在培养基中检测到生长。从图像分析透视图中通过识别成像的物体(基于物体及其邻近的环境之间的差异)并且随后识别物体中随时间的变化,能够在图像中检测到生长。如本文中更加详细描述的,这些差异和变化是“对比”的两种形式。除了检测生长之外,在208处的图像分析可以进一步涉及定量检测的生长量、识别不同的菌落、识别姐妹菌落等。
在210处,确定生物样品(尤其是识别的姐妹菌落)是否展示出定量地显著生长。如果发现无生长或者非显著量的生长,则程序200可以前进到220,其中输出最后的报告。在从210前进到220的情况下,最后的报告将有可能指示缺少显著的生长,或者报告正常菌群的生长。
如果确定生物样品展示出定量的显著生长,则在212处可以基于在前的分析从图像挑选出一个或多个菌落。挑选菌落可以是一个全自动的过程,其中挑选的每一个菌落被取样并且被测试。可替代地,挑选菌落可以是一个部分自动化的过程,其中多个菌落候选者被自动地识别并且在数字图像中在视觉上呈现给操作员,从而操作员可以输入选取一个或多个候选者用于取样和进一步测试。被选取或者被挑选的菌落的取样本身可以由系统自动化。
在214处,为了进一步测试,制备取样的菌落,诸如将样品铺平板在生物体悬浮液中。在216处,利用基质辅助激光解吸电离(MALDI)成像来测试样品,以识别从原始培养基中采样的样本的类型。在218处,样品同样或者可替代地经受抗生素敏感性测试(AST),以确定用于被识别的样本的可能的处理。
在220处,在最终的报告中输出测试结果。报告可以包括MALDI和AST结果。如上提到的,报告也可以指示样本生长的定量。因此,自动化系统能够始于被接种的培养基,并且产生关于在培养物中发现的样本的最终报告,具有很少或无额外的输入。
在程序中,诸如在图2的示例程序中,被检测并且被识别的菌落经常被称为菌落形成单位(CFU)。CFU是作为一个或几个细菌而开始的微观物体。可以基于能够在平板中被计数的CFU的数量来测定定量的生长。然而,如上解释说明的,CFU的数量不能总是被直接地计数。例如,CFU可以彼此接触或者混合,从而形成汇合区域,无独立的单位元被计数。在这种情况下,本公开提供了用于估计菌落计数的方式,其基于已知信息——诸如被应用到平板培养基的划线模式,关于当划线工具经过平板划线时被卸载得多快的知识、被计数的一种特定类型的菌落的标准尺寸和生长速率等——以及从平板的一个或多个数字图像采集的测定信息的组合。可以通过上面描述的系统和程序使这种估计自动化。
确定估计的生长是否是显著的可以通过将估计的菌落计数与预定的阈值进行比较而推断出来。对于给定的平板和/或菌落可以设定多于一个的阈值。例如,菌落生长可能受到菌落在其中生长的培养基的影响。因此,在一种培养基中构成显著生长的要素可能不构成在另一种培养基中的显著生长,并且可以设定不同的阈值。此外,尽管对于一种类型的细菌的测试可以不被保证,直到满足高阈值,但是对于特别有害或危险的细菌的测试(例如,在孕妇的测试中,B群链球菌)可以被保证,即使满足低阈值,在一些情况下,甚至低至一个被计数的菌落。因此,应当理解系统能够存储多个阈值,并且在适当的情况下应用那些不同阈值中的每一个。
细菌随着时间生长以形成菌落。细菌被放置在平板中的时间越早,将被检测的细菌越少,相应地,菌落越小并且与背景的对比越低。换句话说,较小的菌落尺寸产生较小的信号,并且在恒定背景上的较小信号导致较小的对比。这通过以下方程式来反映:
在识别物体时,对比可以发挥重要的作用,诸如图像中的CFU或者其它的假象。如果物体与其周围环境在亮度、颜色和/或纹理方面明显不同,则在图像中可以检测到物体。一旦已经检测到物体,分析也可以涉及识别已经被检测的物体的类型。这种识别也可以依赖于对比测量,诸如被识别的物体边缘的平滑度,或者物体的颜色和/或亮度的均匀性(或者缺少均匀性)。该对比必须大到足以克服图像噪声(背景信号),以便被图像传感器检测。
人的对比洞察力(受Weber定律的控制)是有限的。在最佳的条件下,人眼能够检测1%的亮度级差异。图像测量的质量和置信度(例如,亮度、颜色、对比)可以用测量的信噪比(SNR)表征,其中与像素强度无关,SNR值为100(或40db)将匹配人的检测能力。利用高SNR成像信息和每个像素信息的已知SNR的数字成像技术可以允许检测菌落,即使那些菌落对于人眼而言仍然是不可见的。
在本公开中,可以以至少两种方式收集对比:空间地和时间地。空间对比或者局部对比量化单个图像中的给定区域(例如,像素,邻近的像素组)及其周围环境之间在颜色或亮度上的区别。时间对比(temporal contrast)或者时间对比(time contrast)量化在不同时间拍摄的一个图像的给定区域相对于另一图像中的相同区域在颜色或亮度上的区别。规定时间对比的公式类似于用于空间对比的公式:
其中,t2是t1后来的时间。给定图像的空间对比和时间对比均可以被用于识别物体。被识别的物体可以随后进一步被测试,以确定它们的显著性(例如,它们是否是CFU、正常的菌群、灰尘等)。
图3A和3B提供了时间对比能够对成像样品施加的影响的视觉证明。图3A中示出的图像是在不同的时间点捕获的(从左到右,从顶行到底端行),示出了样品中的总生长。尽管生长在图3A中是显著的,但是来自图3B的对应的对比时间图像的生长甚至是更加显著的,并且按照顺序甚至可以在更早时间被注意到。为了清楚起见,图3C示出了图3B的放大部分。如能够在图3C中看到的,已经被成像的一部分菌落越长,它在对比图像中形成的点越亮。因此,每个菌落的质心可以由菌落的亮度中心或者峰代表。因此,随时间获得的图像数据能够揭示关于菌落形态学变化的重要信息。
为了最大化物体相对于其背景的空间或时间对比,系统可以利用不同背景上的不同入射光来捕获图像。例如,顶部照明、底部照明或者侧面照明中的任何一种可以被用在黑色或白色背景上。
图3D和3E提供了照明条件能够对成像样品施加的影响的视觉证明。利用顶部照明捕获图3D中的图像,而利用底部照明在大约相同的时间(例如,在时间上足够接近,未出现明显的或显著的生长)捕获图3E中的图像。如同能够看到的,在图3D和3E的样品中,每个图像包含几个菌落,但是由于图3E的图像中的背部照明或底部照明,可以看到关于菌落的附加信息(在这种情况下,溶血现象),然而在图3D的图像中难以抓取那个相同的信息。
在给定的时间点,可以在多种照明条件下捕获多个图像。可以利用不同的光源捕获图像,所述光源由于照明亮度级、照明角度和/或放置在物体和传感器之间的滤光器(例如,红光、绿光和蓝光滤光器)而在光谱上是不同的。以这种方式,可以在光源位置(例如顶部、侧面、底部)、背景(例如,黑色、白色、任何颜色、任何强度)和光谱(例如红光通道、绿光通道、蓝光通道)方面改变图像采集条件。例如,可以利用顶部照明和黑色背景捕获第一图像,利用侧面照明和黑色背景捕获第二图像,并且利用底部照明和无背景(即白色背景)捕获第三图像。此外,特定的算法可以被用于产生一组可变的图像采集条件,以便最大化空间对比使用。通过根据给定的顺序和/或时间范围改变图像采集条件,这些或者其它的算法对于最大化时间对比也可以是有用的。在PCT公布号WO2015/114121中描述了一些这样的算法。
图4是示出一种用于至少部分基于对比分析成像平板的示例程序的流程图。图4的程序可以被视为图2的程序200的一种示例的子程序,从而至少部分利用图4的程序执行图2的206和208。
在402处,在时间t1捕获第一数字图像。时间t1可以是温育过程已经开始后的一个时间,从而成像平板中的细菌已经至少开始形成一些可见的菌落,但是那些菌落尚未开始相互接触或重叠。
在404处,将坐标分配给第一数字图像的一个或多个像素。在一些情况下,坐标可以是极坐标,具有从成像平板的中心点延伸的径向坐标以及中心点周围的角坐标。可以在后面的步骤中使用坐标,以帮助将从不同的角度和/或在不同的时间拍摄的平板的第一数字图像与其它数字图像对准。在一些情况下,成像平板可以具有特定的地标(例如,偏心的点或线),从而覆盖第一图像中的地标的像素的坐标可以被分配给覆盖其它图像中的相同地标的像素。在其它的情况下,图像本身可以被视为用于将来对准的一个特征。
在406处,在时间t2捕获第二数字图像。时间t2是t1之后的一个时间,此时成像平板中的菌落已经具有机会生长得更多。在t1时太小而不可见的额外菌落在t2时也可以是可见的。而且,存在菌落在时间t2时已经开始相互接触或者重叠的可能性。
在408处,基于先前分配的坐标将第二数字图像与第一数字图像对准。对准图像可以进一步涉及图像的归一化和标准化,例如利用在PCT公布号WO2015/114121中描述的方法和系统。
在410处,基于第一和第二数字图像收集菌落候选者的总体列表。菌落候选者的总体列表可以识别第一和第二数字图像中的任何物体,所述物体可以是可希望进一步测试的菌落(如在图1的程序中)。
在412处,对于总体列表中包含的每个菌落候选者进行分类。分类菌落候选者涉及为每个候选者识别候选者实际上是假象还是菌落。如下面更加详细描述的,在一些情况下,确切地确定给定的候选者是假象还是菌落可能不是可能的。然而,可以做概率性的或者模糊的决定,并且可以根据所述决定对候选者进行分类。
在414处,对被识别为菌落的被分类的菌落候选者进行计数。如下面更加详细解释说明的,由于各个菌落之间的汇合,计数菌落并非总是明确的。因此,本公开提供了用于基于第二数字图像的统计分析进行计数的方法和技术。
在416处,输出包含估计的菌落计数的最终报告。最终报告可以任选地包括影响被估计的菌落计数准确度的附加信息,诸如被计数的菌落之间的群集概率。群集指菌落的汇合,从而导致群集,使各个菌落不能被独立地识别。在一些情况下,只要群集概率超过预先设定的阈值(例如,50%),就可以报告群集概率。
图5是示出一种用于收集菌落候选者的总体列表的示例程序500的流程图。图5的程序可以被视为图4的程序400的一种示例的子程序,从而至少部分利用图5的程序执行图4的410。
在502处,确定第二数字图像的对比信息。可以以逐个像素为基础收集对比信息。例如,可以将第二数字图像的像素与第一数字图像的相应像素(在相同的坐标处)进行对比,以确定存在时间对比。此外,第二数字图像的相邻像素可以相互比较,或者与已知为背景像素的其它像素进行比较,以确定存在空间对比。像素颜色和/或亮度的变化表明了对比,并且可以测定、计算、估计或者另外地确定这种从一个图像到另一个图像或者从一个像素(或者像素区域)到另一个像素(或者像素区域)的变化幅度。在为给定的图像确定了时间对比和空间对比的情况下,可以基于给定像素的空间对比和时间对比(例如平均值、加权平均值)的组合确定图像的给定像素的总体对比。
在504处,基于在502处计算的对比信息识别第二数字图像中的物体。具有相似对比信息的第二数字图像的相邻像素可以被视为属于相同的物体。例如,如果相邻的像素和它们的背景之间的亮度差异或者像素亮度与它们在第一数字图像中的亮度之间的差异是大约相同的(例如,处于预定的阈值量以内),则像素可以被视为属于相同的物体。作为一个例子,系统可以将“1”分配给具有显著对比(例如,大于阈值量)的任何像素,并且随后将全部被分配给“1”的一组相邻像素识别为一个物体。物体可以被给予一个特定的标记或掩码(mask),从而具有相同标记的像素共享某些特征。在后来的过程期间,标记可以帮助将物体和其它的物体和/或背景区分开来。
识别数字图像中的物体可以涉及将数字图像分割或分隔为多个区域(例如,前景和背景)。分割的目标是将图像变为多个部分的表示,从而更加容易分析所述部分。图像分割被用于定位图像中感兴趣的物体。[这里增加交叉参照]
在506处,可以表征给定物体(在504处被识别的)的特征。物体特征的表征可以涉及推断物体的描述性统计(例如,面积、反射率、尺寸、光学密度、颜色、平板位置等)。描述性统计可以最终定量地描述关于物体收集的信息集合(例如,来自SHQI图像,来自对比图像)的某些特征。这种信息可以作为种类、浓度、混合物、时间和培养基的函数而被评价。然而,在至少一些情况下,表征物体可以从关于物体特征的定性信息集合开始,从而定性信息随后被定量地表示。下面的表1提供了示例特征的列表,所述特征可以被定性地评估并且随后被转化为定量的表示:
表1:物体的定性属性以及用于定量地转化属性的标准
物体的一些特征,诸如形状或直到它在视觉上被观察的时间,可以总体上为物体测量一次。其它的特征可以被测量若干次(例如,对于每个像素,对于具有相同y-坐标的每行像素,对于具有相同x-坐标的每列像素,对于具有相同角坐标的像素的每个射线,对于具有相同径向坐标的像素的圆圈),并且随后例如利用直方图被组合为单个测量。例如,对于每个像素可以测量颜色、对于像素的每个行、列、射线或圆圈可以测量生长速度或者尺寸,等等。
在508处,基于表征的特征确定物体是否为菌落候选者。菌落候选者确定可以涉及将定量的特征(例如上面的表1中示出的分数)或其子集输入到分类器中。分类器可以包括用于实施监督式的机器学习算法的混淆矩阵或者用于实施无监督的机器学习算法的匹配矩阵,以便评估物体。在物体将从可能的生物体的有限集(例如,两个或者三个)中区别出来的情况下(在该情况下,算法能够在训练数据的相对有限集上被训练),监督式的学习可以是优选的。相对而言,在物体将从可能的生物体的整个数据库中区别出来的情况下,无监督的学习可以是被优选的,在该情况下,将很难提供综合的或者甚至充足的训练数据。在混淆矩阵或匹配矩阵的情况下,能够在数字上测量一定范围内的差异。例如,对于给定一对物体,“0”可以意味着两个物体应当被相互区分开来,而“1”可以意味着物体很难相互区分开来。
如果在508处物体被确定是菌落候选者,则在510处,将它加入到菌落候选者的总体列表中。否则,程序500结束(并且可以继续进行程序400的412),而未将物体加入到总体列表中。
在共同拥有的并且共同未决的名称为“菌落对比聚集(COLONY CONTRASTGATHERING)”的申请中讨论了用于基于数字图像的对比信息识别菌落候选者的另外的程序和子程序,其全部内容通过参照被并入本文中。
图6是示出一种用于分类菌落候选者的示例程序600的流程图。图6的程序可以被视为图4的程序400的一种示例的子程序,从而至少部分利用图6的程序执行图4的412。作为图4的子程序,程序600可以被迭代地应用到出现在总体列表上的每个菌落候选者。
在602处,确定菌落候选者是否在生长。可以通过(a)菌落候选者存在于第一和第二数字图像中以及(b)菌落候选者的尺寸在第二数字图像中比在第一数字图像中显著地更大来指示生长。可以通过将尺寸变化与预定的生长阈值进行比较而确定尺寸变化是否被视为显著的,因此达到或超过生长阈值的变化被视为显著的。
如果菌落候选者被确定处于生长中,则菌落候选者被验证并且被识别为菌落。否则,程序600在604处继续进行,其中确定菌落候选者是否存在于第一和第二数字图像两者中。
如果菌落候选者被确定存在于两个图像中(意味着在两个图像之间无显著生长),则菌落候选者被识别为假象。否则,程序600在606处继续进行,其中确定菌落候选者是否存在于第二数字图像中。
如果菌落候选者未存在于第二图像中(意味着它仅存在于第一图像中并且随后消失),则菌落候选者被识别为假象(例如,在t1和t2之间有可能从平板吹落的一片灰尘)。否则,执行进一步的分析,以确定菌落候选者是仅是在时间t1时未生长到足以可见的菌落,还是假象诸如在时间t1和t2之间吹到平板上的一片灰尘。
在608处,假定知道菌落候选者未出现在第一数字图像中,则仅仅基于来自第二数字图像的信息表征菌落候选者的特征。表征可以依赖于静态的特征,诸如颜色、大小、形状和表面(上面结合图5的步骤506进行描述)。
在610处,至少部分基于表征来确定菌落候选者事实上是菌落的总体概率。例如,可以将物体的被表征的特征与预期的菌落类型(即,包含在总体列表中并且在图6中被计数的菌落类型)的特征进行比较。在一种实施例中,以与图5的步骤508相同的方式执行比较,从而“0”将意味着物体是预期的菌落类型,而“1”将意味着物体不是预期的菌落类型,并且“0”和“1”之间的数字将指示物体为预期的菌落类型的概率,也被称为菌落概率。
在一些情况下,菌落概率可以是610的总体概率。可选地,610处的决定可以是进一步基于图像中关于假象所采集的信息。这种信息可以包括假象概率,其计量图像中的物体为假象的可能性。在图6的实例中,被明确地确定为假象(例如,在t1和t2之间无生长,仅出现在t1并且未出现在t2)或菌落(例如,在t1和t2之间显著生长)的物体在612处作为输入被提供,以确定假象概率。612的假象概率随后与菌落概率组合以产生总体概率。在一种实施例中,菌落概率和假象概率根据如下方程式被组合:
(3)P(总体)=P(菌落)×(1-P(假象))
在614处,将总体概率与确定的阈值(例如,50%)进行对比。如果总体概率达到或超过阈值,则菌落候选者随后被识别为菌落。否则,菌落候选者被识别为假象。
尽管图5和6的程序被用于分类被识别的菌落,但是那些程序不确保每个菌落是独立的菌落,并且不是多个菌落的汇合。因此,被识别为菌落的菌落候选者不必被计数为离散的要素,而是利用估计技术进行计数。
图7是示出一种用于基于统计分析计数菌落的示例程序700的流程图。图7的程序可以被视为图4的程序400的一种示例子程序,从而至少部分利用图7的程序执行图4的414。图7的程序假定使用磁控珠根据预定的划线模式将菌落划线到成像平板上。本领域技术人员应当理解除了下面描述的那些之外,图7的程序的潜在概念可以适应于各种划线培养基、技术和模式。
在702处,根据划线模式使第二数字图像线性化,成像平板沿着所述划线模式被磁控珠划线。为了阐明划线模式,图8示出了在平板培养基中生长的样品的图像。图像在数字上与Z字形模式叠加,所述Z字形模式朝向图像的右下方开始并且朝向左上方结束。Z字形模式指示了用于为培养基划线的磁控珠的划线模式。
为了清楚起见,使数字图像线性化可以被视为沿着线性化图像的x-轴绘制Z字形模式的像素,从而Z字形模式沿着x-轴被展开为一条直线。对于数字图像的每个像素,不直接叠加Z字形模式,并且像素可以与Z字形模式到像素的最接近部分相关联(例如,沿着线性化图像的y-轴)。线性化图像用于指示当珠沿着划线模式随着时间移动时被珠沉积到培养基上的菌落的密度梯度。
在704处,沿着第二数字图像的线性化坐标绘制每个菌落候选者。换句话说,利用线性化图像评估沉积到培养基上的菌落的密度梯度。图9A是先前识别的菌落候选者的图示(例如,来自图5的程序500)。图9B是Z字形模式的图示。通过叠加图9A和9B的图示,可以计算出每个菌落候选者沿着Z字形模式离模式原点(图像的最左端)的距离。
在706处,基于在线性化的第二数字图像中存在的绘制的菌落来估计原始珠负载(以每毫升CFU测量的浓度)。对于为具有以mm测量的宽度(W)(也被称为“接触宽度”)并具有以mm2测量的“SA”的表面面积(SA)的路径划线的珠,在本文中呈现了用于估计原始珠负载的计算。
作为初始点,注意到对于珠表面上的给定点,平均而言,对于珠沿着Z字形模式前进每个“B”mm来说,点将接触平板一次,其中:
如果假定给定点被加载有菌落形成单位(CFU),当给定点和培养基进行接触时,CFU被释放到培养基(PR)上的概率可以被表征为0和1之间的数字。
直到珠沿着划线路径已经前进了距离x(以mm测量)的时候,根据下面的关系给出给定点处的CFU已经被释放的概率(PNR(x)):
(5)PNR(x)=(1-PR)x/B (18)
当珠前进并且释放CFU时,存在于珠上的CFU负载减少。在其中珠沿着划线模式已经具有了如此远的前进距离x的给定时间,存在于珠上的总CFU负载可以被表征为K(x),此时。K(x)可以进一步被表达为原始珠负载K0的函数(即,在划线模式开始之前并且从而在任何CFU被释放之前珠的CFU负载):
(6)K(x)=K0×PNR(x)=K0×(1-PR)x/B (19)
也可以基于线性化的数字图像估计K(x)。特别地,可以假定最初加载到珠上的所有CFU通过完成划线模式将被释放到培养基上,因此,在任何给定距离x处珠上的剩余负载可以被表征为在数字图像中示出经过距离x的菌落数量(实际上,求和的上限应当是划线模式的长度,不是∞,但是假定在划线模式结束时所有的CFU被释放,无穷大的上限是同样可接受的)。
利用K(x)的估计,该估计可以被代入上面的方程式中,以解析原始珠负载K0。事实上,对于K(x)可以被估计的任何给定距离x(例如,xl,x2,x3等),K0也可以独立地被解析,如以下方程式所示:
已经解析了PR,根据如下方程式利用PR和K(x)的确定的数值可以估计K0:
应当注意,被估计的K(x)值越多,PR和K0的估计可以变得越准确。因此,尽管上面的实例仅使用了xl和x2去估计K0,但是其它的实例可以使用另外的距离(例如,x3)。
可选地,基于菌落、培养基、珠或其任何组合的已知特征,PR可以是一个预定的数值,在这种情况下,可以基于单个给定距离x处的估计值K(x)来估计K0。
分布模型
除了上面的计算之外,可以基于数字图像和分布模型之间的比较来估计成像平板上的菌落。图10A和10B阐明了基于给定的珠释放概率(PR)的CFU分布模型。图10A和10B中的每一个示出了用于改变的原始珠负载的CFU的分布(范围为从最左边图像处的小原始负载例如102到最右边图像处的大原始珠负载例如105)。也可以修改分布模型,以解释诸如释放概率和菌落大小的变量。在图10A和10B的实例中,释放概率被设定为0.14。在图10A中,菌落尺寸被设定为直径1.66mm。在图10B中,菌落大小被设定为较小的直径。因此,当已知给定样品的释放概率和菌落大小时,分布模型可以被用于为具有类似的分布外观的图像估计原始珠负载。
汇合比
汇合比也可以被利用,以便改善菌落计数估计。汇合比是沿着平板的主轴在特定距离处的像素分数,像素与菌落候选者相关联。汇合比可以根据以下公式进行表征:
图11A阐明了沿着划线模式的主轴从原点到终点测量的平板的汇合比。在图11A的实例中,平板上的预期CFU是4800。图11B描述了模拟的结果,4800CFU原始负载具有0.185的释放概率和直径为大约2mm的菌落大小。如能够在本实例中看出的,在图11A的平板中示出的汇合和图11B的模拟是彼此相当相似的。
汇合比也能够被用于识别切线零交叉,这是沿着主轴的点,汇合区域在此处大体上或者通常结束(例如,独立菌落比汇合菌落多,汇合区域组成了小于50%的沿着贯穿所述点并且垂直于主轴的线的像素,等等)。
从以上的实例中应当意识到,沿着平板主轴的预期汇合比很大程度上取决于原始负载(CFU/ml)、在平板被成像的给定时间的分离菌落的大小,以及给定的温育时间。为了强调这些因子,图12是具有相似的汇合比但明显不同的CFU负载的两个平板的边对边描述。顶部平板包含总数为大约39,500CFU的金黄色葡萄球菌,而底部平板包含大约305CFU的绿脓杆菌。显著地,这些平板的汇合比与图11A中示出的平板是大约相同的(在血琼脂培养基上温育18小时之后,其包含大约4,800CFU的粘质沙雷氏菌)。
时间序列分析
评估汇合区域内的CFU含量的另一种方式是通过利用以前的图像将汇合区域拆分为独立的菌落而进行时间序列分析。如上面指出的,在给定的时间具有汇合的菌落在较早的时间仍然可以是独立的并且是可单独地计数的。因此,对于至少一些菌落,当尚未满足汇合条件时,可以利用较早温育时间的汇合区域的图像进行分析(例如,运行分割程序,建立图等)。该分析随后可以被用于追踪随时间进行的变化,以帮助在随后的时间保持独立菌落的识别。
图13阐明了随着时间拍摄的系列图像。在图13中,每行包含温育期间的特定时间点时的数字图像(左边)、分割结果(中间)和对比图像(右边):分别在8小时、12小时、16小时和20小时(从底部到顶部)。在共同拥有、共同未决的名称为“菌落对比聚集”的专利申请中更加详细地描述了分割和对比图像,其公开的内容全部被合并在本文中。
本领域技术人员将意识到以上的菌落估计技术、分布模型、汇合比和时间序列分析的结果可以相互结合使用,以提供更加准确的估计,或者证实先前估计的准确度。
物体特征
如上结合图5所讨论的,成像平板上的物体特征可以被表征为在成像平板上执行的部分图像分析。被表征的特征可以包括静态特征(与单个图像有关)和动态图像(与多个图像有关)。
静态特征旨在反映在给定时间时的物体属性和/或周围背景。静态特征包括以下内容:
(i)重心:这是一个静态特征,提供了成像物体在坐标空间(例如,x-y坐标、极坐标)中的重心。物体的重心如同物体的极坐标一样,提供了在给定的照明和背景条件下的特征集中的不变性。通过首先确定图像中所有菌落的加权质心可以获得重心(M是所有被检测的菌落的二值掩码(binary mask))。可以基于假定图像的每个像素具有等值来确定加权质心。给定菌落的重心可以随后通过如下方程式(其中,E={p∣p∈M}(E是当前菌落的二值掩码),x-坐标的范围是,y-坐标的范围是,并且每个像素是一个单元)描述在x-y坐标中:
(ii)极坐标:这也是一个静态特征,并且可以被用于进一步表征成像平板上的位置,诸如重心。一般地,沿着径向轴(d)和角度轴(θ)测量极坐标,其中平板中心的坐标为。igv(x,y)的坐标d和θ(d用毫米表示,以及θ用度表示)由通过如下方程式给出(其中,k是像素密度,相应于用毫米表示的像素,并且“条形码”是成像板的地标特征,以确保平板与先前的和/或将来的图像对准):
(12)d=k×dist(igv(x,y),0(x,y))
(13)θ=角度(条形码,0(x,y),igν(x,y))
(iii)图像矢量:二维极坐标可以依次被转换为一维图像矢量。图像矢量可以将图像的像素强度表征为径向轴的函数(通常,菌落的中心具有最高的强度)和/或角度轴的函数。在许多情况下,图像矢量在分类成像物体之间的相似性/区别方面可以是更加准确的。
(iv)形态测定的特征,其描述了给定物体的形状和大小。
(a)面积:这是一个形态测定的特征,并且可以基于成像物体(也被称为“二进制大对象”)中的像素数量来确定,未计数物体中的孔。当像素密度可利用时,可以以实际尺寸测量面积(例如,mm2)。否则,当像素密度不可利用时,像素的总数量可以指示大小,并且像素密度(k)被设定为等于1。在一种实施例中,利用如下方程式计算面积:
(14)A=k2×∑p∈E1
(b)周长:物体的周长也是一个形态测定的特征,并且可以通过测定物体的边缘并且将边缘的总长度加在一起而确定(例如,具有1个平方单位面积的单个像素具有4个单位的周长)。如同面积一样,长度可以按照像素单位(例如,当k不可利用时)或物理长度(例如,当k可利用时)测量。在一些情况下,周长也可以包括物体中的任何孔的周长。此外,通过将内部拐角计数为而不是2,可以补偿阶梯效应(当对角线边缘被数字化为梯状盒时产生阶梯效应)。在一种实施例中,可以利用如下方程式确定周长:
(15)P=k×∑p∈Eq(np)
(17)如果:
{∑(t∈M,l∈M,r∈M,b∈M)=2,(l∈M≠r∈M),(t∈M≠b∈M)}
(p是内部的并且p是拐角)
然后:q(np)=√2
否则:q(np)=4-∑(t∈M,l∈M,r∈M,b∈M)
(c)圆度:物体的圆度也是一种形态测定的特征,并且可以基于面积和周长的组合而被确定。在一种实施例中,利用如下方程式计算圆度:
(d)变化的半径系数(RCV):这也是一种形态测定的特征,并且被用于通过取物体在从重心延伸的所有N个方向或角度θ的平均半径与半径的标准偏差σR之间的比值来指示物体半径的变化。在一种实施例中,该数值可以利用如下方程式计算:
(v)环境的特征(contextual features),其描述监视中的物体与其它被测物体和平板壁边缘的比邻地形关系。例如,在成像菌落的情况下,菌落的一个环境特征可以是菌落是否是自由的,是否具有有限的自由空间,或者是否与其它的周围菌落竞争获取资源。这种特征趋向于帮助分类在相同的感知环境中生长的菌落和/或区分在不同的环境中生长的菌落。
(a)影响区域:这是一个环境的特征,考虑了物体与其邻近物体之间的空间,并且预测分析中的物体可能耗力占据的区域(无其它的不同物体首先耗力占据该相同的区域)。影响区域可以以图的形式来表达,诸如在图14中示出的图,基于菌落1401与其邻近菌落例如1405之间的距离d示出了影响区域(阴影的)。在一种实施例中,从物体边缘到影响区域边缘的距离(DNC)可以利用如下方程式进行表征:
(b)到平板壁的距离:这是一个环境的特征,计算物体边缘离最近的平板壁的距离(Dpw)。在一种实施例中,该距离可以利用如下方程式进行表征:
(c)隔离因子:这是一个环境的特征,基于物体的尺寸和至最近边缘(例如,另一个物体的,平板壁)的距离表征给定物体的相对隔离。图15A-C阐明了隔离因子方面。图15A阐明了其中最近的边缘是从菌落到平板壁的距离d的情形。图15B和15C阐明了其中最近的边缘属于另一个菌落的情形。在这种情况下,以分析中的菌落为中心画一个圆圈,并且随后展开(首先较小,如在图15B中那样,随后较大,如在图15C中那样),直到圆圈接触邻近的菌落。在图15A-C的实施例中,隔离因子(IF)可以利用如下方程式进行表征:
E={p|p∈V,dist(p,igv(x,y))<d}):
(26)RNOR(x)=NOR(d)
(vi)光谱特征,描述了给定物体的光性质。颜色(红色,绿色和蓝色光通道;色调,亮度和色度,或者任何其它的色彩空间转换),纹理和对比(随着时间和/或在空间上)是这种特征的实例。利用菌落掩码可以从在温育期间的各种时间点和/或各种照明条件下捕获的图像中推导出光谱特征,并且可以进一步与用于给定菌落的影响区域相关联。
(a)通道图像:这是一种光谱特征,其中一种特定的颜色通道(例如,红色(R)、绿色(G)、蓝色(B))被用于在光谱上解析图像。
(b)亮度:这也是一种光谱特征,用于利用RGB通道作为输入表征图像的亮度。
(c)色调:这是一种光谱特征,其中图像的面积被表征为看起来类似于感知的颜色(例如,红色、黄色、绿色、蓝色)或其组合。色调(H2)通常利用下面的方程式进行表征:
(27)H2=atan 2(β,α)
(d)色度:这是一种光谱特征,用于表征图像区域相对于其亮度的颜色,如果该区域被类似地以白光照明。色度(C2)通常利用下面的方程式进行表征:
最大对比:
(31)[保留最大对比]
(vii)背景特征,其描述被分析物体附近的培养基中的变化。例如,在成像菌落的情况下,菌落周围的微生物生长能够引起变化(例如,溶血现象的标志,PH的变化,或者特定的酶反应)。
动态特征旨在反映物体属性和/或周围背景随时间的变化。时间序列处理允许静态特征随时间相关。这些特征的独立的一阶和二阶导数提供了随时间被表征的这些特征变化的瞬时“速度”和“加速度”(或者达到平衡或减速)。动态特征的实例包括如下内容:
(i)时间序列处理,用于随时间追踪上面的静态特征。在给定的温育时间测量的每个特征可以根据其相对温育时间而被参照,以允许所述特征是在随后的温育时间测量的相关特征。时间序列图像可以被用于检测物体,诸如CFU随着时间的出现以及生长,如上所描述的。用于成像的时间点可以通过自动化过程基于先前捕获的物体图像的不间断分析而进行预先设置或者定义。在每个时间点,图像可以是一种给定的采集配置,要么用于单个采集配置的整个序列,要么作为从多个采集配置捕获的图像的完整序列。
(ii)以上特征的离散一阶和二阶导数用于提供这些特征(例如,如上所描述的追踪生长速率)随时间变化的瞬时速度和加速度(或者达到平衡,或者减速):
(a)速度:特征随时间的一阶导数。特征x的速度(V)可以基于以下的方程式按照每小时x个单元进行表征,Δt是以小时表达的时间跨度:
(b)加速度:特征随时间的二阶导数,同样也是速度的一阶导数。加速度(A)可以基于以下方程式进行表征:
动态特征可以包括物体在温育过程中的颜色采集信号(signature)的变化。动态的颜色变化允许进一步区分可以在给定的时间点表现相同颜色但在不同的时间点表现不同颜色的物体。因此,用于两个物体的颜色采集的不同的时间信号将有助于推断出那两个物体是不同的(例如,不同的生物体)。相反地,如果两个物体随时间的颜色变化是相同的(例如,在色彩空间中遵循相同的路径),则这两个物体可以被视为相同的(例如,相同的类型或种类的生物体)。
以上图像特征从物体或物体的环境中测量,并且目的在于捕捉在各种培养基以及温育条件下生长的生物体的特异性。列出的特征并非意味着是详尽的,并且本领域任何知识渊博的人可以根据本领域已知的各种基于已知图像处理的特征的多样性来修改、放大或限制该特征集。
可以为图像中的每个像素、像素组、物体或物体组采集图像特征。可以在直方图中构造所采集特征的分布,以便更一般地表征图像的区域或者甚至整个图像。直方图本身可以依赖于几个统计学特征,以便分析或者以其它方式处理引入的图像特征数据,诸如在共同拥有的、共同未决的名称为“菌落对比聚集”的申请中描述的那些特征。
图像对准
当随着时间拍摄多个图像时,需要图像的非常精确的对准,以便从它们获得有效的时间估计。可以通过机械的对准设备和/或算法(例如,图像追踪、图像匹配)来实现这种对准。本领域那些知识渊博的人知晓实现该目标的这些方案和技术。
例如,在采集平板上的物体的多个图像的情况下,可以确定物体的位置的坐标。在随后的时间采集的物体的图像数据可以随后基于坐标与先前的图像数据相关联,并且随后用于确定物体随时间的变化。
为了快速并且有价值的使用图像(例如,当被用作分类器的输入时),重要的是将图像储存在空间参考系中以最大化它们的不变性。当菌落的基本形状描述符是通常的圆形时,极坐标系可以被用于储存菌落图像。当菌落首次被检测时,菌落质心可以被认定为菌落的位置中心。该中心点稍后可作为菌落的每个随后的图像的极坐标变换的原始中心。图16A示出了具有中心点“O”的成像平板的放大部分。从点“O”延伸出的两条射线“A”和“B”被显示成叠加在图像上(为了清楚)。每条射线与对应的菌落(圈起来的)相交。图16A中圈起来的菌落甚至更加详细地显示在图16B的图像1611和1612中。在图16B中,图像1611(与射线“A”相交的菌落)被重新定向到图像1613(“A’”)中从而使图像1613的径向轴对准图像1612的径向轴,从而重新定向的图像的最左部分离图16A的点“O”最近,并且重新定向的图像的最右部分离点“O”最远。该极坐标重新定向允许更容易分析成像平板的不同定向(关于诸如照明的因子)的菌落。
在图16C中,为图16B的图像1611、1612和1613中的每一个完成极坐标转换。在极坐标转换图像1621、1622和1623中,在图16C的图像中从左向右绘制相应的重新定向的图像1611、1612和1613的径向轴(从每个相应的成像菌落的中心延伸),并且从顶部到底部绘制(相应菌落的)角度轴。
对于每个极坐标图像,例如可以采用沿着径向轴和/或角度轴的形状特征和/或直方图特征(例如,物体的颜色或强度的平均值和/或标准偏差)产生概要的一维矢量集。即使当考虑旋转时形状和直方图特征通常是不变的,但是当被旋转时,有可能的是一些纹理特征将显示出显著的变化;因此,不变性不被保证。因此,由于物体的纹理差异随后可用于进行相互区分,从相同的视点或角度照明方面展示每个菌落图像具有显著的益处。由于照明条件通常显示出与围绕平板成像中心的角度位置相关联的变化,穿过菌落和平板中心的射线(在图16的每个图像1611、1612和1613中被显示为一条线)可以充当每个图像极坐标转换的原点(θ)。
改善SNR
在典型的照明条件下,光子散射噪声(传感器上的入射光子的到达速度上的统计学变化)限制了检测系统的SNR。现代传感器具有大约1,700到大约1,900个电子/有效平方微米的满阱容量。因此,当对平板上的物体成像时,主要关心的不是用于使物体成像的像素数量,而是传感器空间中被物体覆盖的面积。增加传感器的面积提高了用于成像物体的SNR。
通过在光子噪声规定的照明条件下捕获图像可以改善图像质量,而未使传感器饱和(每帧的每个像素能够记录的最大光子数)。为了使SNR最大化,通常使用图像平均技术。这些技术被用于以显著的亮度(或颜色)差异来处理图像,这是由于黑暗区域的SNR比明亮区域的SNR要低得多,如由如下公式所示出的:
其中,I是电子流在传感器处产生的平均电流。因为颜色由于物质和光的吸收/反射在电磁光谱上的差异而被感知,所以被捕获颜色的置信度将取决于系统以高SNR记录强度的能力。图像传感器(例如,CCD传感器,CMOS传感器等)对本领域技术人员而言是已知的,并且在本文中不进行详细描述。
为了克服传统的SNR成像限制,成像系统在图像采集期间可以进行成像平板的分析并且基于分析实时调节照明条件和曝光时间。该过程被描述在通过参考被并入的PCT公布号WO2015/114121中,并且通常被称为监督式的高品质成像(SHQI)。系统也可以为不同颜色通道中的平板的各种亮度区域定制成像条件。
对于图像的给定像素x,y,在当前帧N期间采集的像素的SNR信息可以与在先前的或随后的采集帧(例如,N-1,N+1)期间采集的相同像素的SNR信息进行组合。例如,组合的SNR由以下公式表示:
在利用新采集更新图像数据之后,采集系统能够预测最好的下一个采集时间,将根据环境限制(例如,感兴趣区域中的每个像素的最小所需SNR)而使SNR最大化。例如,将在不饱和条件中捕获的5个图像平均化将使黑暗区域SNR提升(10%的最大强度),当合并在明亮和黑暗条件下捕获的两个图像的信息时,最佳的照明将仅在两次采集中使黑暗区域SNR提升
应用
本公开主要是基于在各种稀释条件下的盐水中进行的测试,以模拟典型的尿报告量(CFU/ml,Bucket组)。每个隔离群的悬浮液被调节到0.5麦氏标准(McFarlandStandard),并且被用于在BD尿液真空采集管(BD Urine Vacutainer tubes)(货号364951)中以估计的1×106、1×105、5×104、1×104、1×103和1×102CFU/ml悬浮液来制备稀释物。利用Kiestra InoqulA(WCA1)采用标准的尿划线模式-#4Z字形处理样本管(每个平板分配0.01ml)。
为所有采集的图像校正透镜几何学的和色彩的像差,在光谱上以已知的物体像素尺寸、标准化的照明条件和每个像素每个带的高信噪比对图像进行平衡。在本文描述的方法和系统中所使用的适当相机对于本领域技术人员而言是公知的,并且在本文中未进行详细描述。作为一种实例,当菌落处于100μm直径的范围内具有适当的对比时,利用4-兆像素相机捕获90mm平板图像应当允许计数多达30个菌落/mm2局部密度(>105CFU/平板)。
用于为样品平板划线的磁性滚珠的直径为5mm,周长为15.7mm,并且表面积为78mm2。与培养基接触的平均表面为大约4mm2,其代表着一个直径大致为2.2mm的接触盘。
以下培养基用于评估在其上面生长的菌落对比:
TSAII 5%羊血(BAP):一种非选择培养基,对于尿培养物具有广泛的应用。
BAV:基于菌落形态学和溶血反应,用于菌落计数和假定的ID。
MacConkey II琼脂(MAC):用于大多数普通革兰氏阴性UTI病原体的一种选择性培养基。MAC用于区分产生乳糖的菌落。MAC也抑制变形杆菌群集。BAP和MAC通常广泛地用于尿培养。由于一些革兰氏阴性菌的部分抑制,一些培养基不被推荐用于菌落计数。
多粘菌素萘啶酸琼脂(CNA):用于大多数普通革兰氏阳性UTI病原体的一种选择性培养基。如果出现革兰氏阴性菌落的过度生长,则CAN并非和MAC一样通常用于尿培养,而是有助于识别菌落。
科玛嘉定位显色培养基(CHROMAgar Orientation,CHROM):广泛用于尿培养的一种非选择培养基。CHROM被用于基于菌落颜色和形态学的菌落计数和ID。大肠杆菌(E.coli)和肠球菌(Enterococcus)被培养基识别并且不需要验证性测试。由于成本原因,CHROMA比BAP用得少。对于混合样品也使用CLED培养基。
胱氨酸乳糖电解质缺乏的琼脂(CLED):用于基于乳糖发酵的尿病原体的菌落计数和推定ID。
样本处理BD KiestraTM InoqulATM被用于使细菌学样本的处理自动化,以便能够标准化并且确保一致且高品质的划线。BD KiestraTM InoqulATM样本处理器利用磁性滚珠技术采用可定制的模式为培养基平板划线。
图17示出了将自动化测试过程1700的时间线(例如,图2的程序200)与可比较的人工实施的测试过程1705的时间线进行比较的一对流程图。每个过程始于在实验室处接收的用于测试的样本1710、1715。每个过程随后继续进行温育1720、1725,期间样本可以被成像几次。在自动化过程中,在近12小时的温育之后进行自动化的评估1730,在该时间之后能够明确确定在样本中是否存在显著的生长或者无生长(或正常的生长)1740。如从上面的公开中示出的,在自动化的过程中利用统计学方法分类和计数菌落极大地提高了确定是否存在显著生长的能力,甚至仅仅在12小时之后。相反,在人工过程中,直到进入温育过程接近24小时才能进行人工评价1735。只有在24小时之后才能明确确定样本中是否存在显著的生长或者无生长(或者正常的生长)1745。
自动化过程的使用也允许更快速的AST和MALDI测试。自动化过程中的这种测试1750可以在原始评估1730之后不久就开始进行,并且通过24小时标志,结果可以被获得1760和报告1775。相反,人工过程中的这种测试1755经常直到接近36小时标志才开始进行,并且在数据可以被复查1765和报告1775之前要花费额外的8到12小时来完成。
总之,人工测试过程1705被显示耗时高达48小时,需要18-24小时的温育期,只有在其后评价平板的生长,并且此外没有办法追踪样品已经处于温育中多久了。相反,因为自动化测试过程1700能够检测菌落之间的甚至相当微弱的对比(与背景和彼此比较而言),并且能够进行成像和温育,不用微生物学家必须追踪记时,在样本可以被识别并准备进一步的测试(例如,AST、MALDI)之前,仅12-18小时的温育是必要的,并且整个过程可以在大约24小时以内完成。因此,本公开的自动化过程,辅以本文中描述的对比处理,提供了更快速的样品测试,没有不利地影响测试结果的质量或准确度。
尽管在这里已经参照特定的实施例描述了本发明,但是要理解这些实施例仅仅说明了本发明的原理和应用。因此要理解,对于例证性的实施例可以做出许多修改,并且可以设计其它的布置,而不偏离如附属的权利要求书所限定的本发明的精神和范围。
Claims (14)
1.用于评估平板培养基上的微生物生长的自动化方法,所述方法包括:
提供接种有生物样品的培养基;
温育接种过的培养基;
在温育之后,在第一时间t1获得所述接种过的培养基的第一图像;
在进一步温育之后,在第二时间t2获得所述接种过的培养基的第二图像;
将所述第一图像与所述第二图像对准,从而所述第二图像中的像素坐标与所述第一图像中的相应像素坐标相同;
确定所述第二图像的对比信息,所述对比信息包含:
空间对比信息,所述空间对比信息指示所述第二图像的像素之间的差别;和
时间对比信息,所述时间对比信息指示所述第二图像的像素和前一图像的对应像素之间的差别;
基于所述对比信息将所述第二图像的图像特征与所述第一图像的图像特征进行比较;
至少基于从时间t1到时间t2的图像特征的变化和所述第二图像中的所述对比信息将所述第二图像的图像特征分类为菌落候选者;
对于被确定为来自在所述培养基上接种的所述生物样品中的普通微生物的菌落候选者,对所述菌落候选者进行计数;并且
确定计数的菌落的数量是否达到或超过存储器中存储的并且指示显著生长的阈值计数值。
2.根据权利要求1所述的方法,其中如果所述计数的菌落的所述数量达到或超过所述阈值计数值,则进一步包括:
利用基质辅助激光解吸电离MALDI识别至少一个菌落;
测试所述至少一个菌落的抗菌敏感性;并且
输出包含所述MALDI和抗菌敏感性测试结果的报告。
3.根据权利要求1和2中的任一项所述的方法,其中多个阈值计数值被储存在存储器中,每个阈值计数值与不同的微生物相关联。
4.根据权利要求3所述的方法,其中将所述第二图像的图像特征分类为菌落候选者包括:
基于所述对比信息识别所述第二图像中的物体;并且
从在所述第一和第二图像中相关联的像素信息中获得被识别的物体的一个或多个物体特征,其中所述物体特征也被用于将所述图像分类为菌落特征。
5.根据权利要求4所述的方法,所述方法进一步包括基于与所述菌落候选者相关联的像素信息为每个菌落候选者确定所述菌落候选者是菌落还是假象,其中被确定为假象的菌落候选者不进行计数。
6.根据权利要求5所述的方法,其中确定菌落候选者是菌落还是假象进一步包括确定所述菌落候选者是否存在于所述第一和第二图像的每一个中,并且根据阈值生长因子是否在所述第二图像中比在所述第一图像中更大,其中存在于两个图像中并且根据至少所述阈值生长因子在所述第二图像中较大的菌落候选者被分类为菌落。
7.根据权利要求6所述的方法,其中确定菌落候选者是菌落还是假象进一步包括对于存在于所述第二图像中并且不存在于所述第一图像中的菌落候选者:
从与所述第二图像中的物体相关联的所述像素信息中获得被识别的物体的一个或多个物体特征;
基于所述一个或多个物体特征确定所述菌落候选者为菌落的概率;并且
将确定的概率与预定的阈值概率值进行比较,其中,如果所述确定的概率大于所述预定的阈值概率值,则所述菌落候选者被分类为菌落。
8.根据权利要求7所述的方法,所述方法进一步包括:
将(i)存在于两个图像中并且在所述第二图像中不是更大的菌落候选者和(ii)存在于所述第一图像中并且不存在于所述第二图像中的菌落候选者分类为确切的假象;
将存在于所述第一和第二图像的每一个中并且根据所述阈值生长因子在所述第二图像中更大的菌落候选者分类为确切的菌落;并且
基于所述确切的假象和所述确切的菌落的组合计算假象概率值,其中菌落候选者为菌落的所述确定的概率进一步基于假象概率。
9.根据权利要求4-8中的任一项所述的方法,其中所述一个或多个物体特征包括物体形状、物体大小、物体边缘和物体颜色中的至少一个。
10.根据权利要求9所述的方法,其中所述一个或多个物体特征包括所述识别的物体的像素的颜色、色调、亮度和色度中的至少一个。
11.根据权利要求10所述的方法,所述方法进一步包括获得背景特征信息,其中背景特征信息包括培养基类型和培养基颜色,并且其中进一步基于所述背景特征信息将所述物体分类为菌落候选者。
12.根据权利要求11所述的方法,其中将所述第一图像与所述第二图像对准包括将极坐标分配到所述第一和第二图像中的每一个的像素,从而所述第二图像中的像素的所述极坐标与所述第一图像中的相应像素的所述极坐标相同。
13.计算机可读存储器存储介质,其上具有编码的程序指令,所述编码的程序指令被配置以使处理器实施用于评估平板培养基上的微生物生长的方法,所述方法包括权利要求1-12所述的方法中的任一种。
14.用于评估接种有生物样品的培养基中的生长的系统,所述系统包括:
图像采集装置,所述图像采集装置用于捕获所述培养基的数字图像;
存储器,所述存储器存储关于一种或多种不同培养基中一种或多种不同生物体的微生物生长的预计量的信息;以及
一个或多个处理器,所述一个或多个处理器可操作以执行实施根据权利要求1-12所述方法的任何一种所述的方法的指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210519307.7A CN114723741A (zh) | 2015-04-23 | 2016-04-22 | 用于自动计数微生物菌落的方法和系统 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562151688P | 2015-04-23 | 2015-04-23 | |
US62/151,688 | 2015-04-23 | ||
US201662318488P | 2016-04-05 | 2016-04-05 | |
US62/318,488 | 2016-04-05 | ||
PCT/US2016/028919 WO2016172532A2 (en) | 2015-04-23 | 2016-04-22 | A method and system for automated microbial colony counting from streaked sample on plated media |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210519307.7A Division CN114723741A (zh) | 2015-04-23 | 2016-04-22 | 用于自动计数微生物菌落的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107580715A CN107580715A (zh) | 2018-01-12 |
CN107580715B true CN107580715B (zh) | 2022-05-31 |
Family
ID=55911092
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680023381.2A Active CN107580715B (zh) | 2015-04-23 | 2016-04-22 | 用于自动计数微生物菌落的方法和系统 |
CN202210519307.7A Pending CN114723741A (zh) | 2015-04-23 | 2016-04-22 | 用于自动计数微生物菌落的方法和系统 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210519307.7A Pending CN114723741A (zh) | 2015-04-23 | 2016-04-22 | 用于自动计数微生物菌落的方法和系统 |
Country Status (9)
Country | Link |
---|---|
US (3) | US10696938B2 (zh) |
EP (1) | EP3286732A2 (zh) |
JP (2) | JP6845221B2 (zh) |
KR (1) | KR102643990B1 (zh) |
CN (2) | CN107580715B (zh) |
AU (2) | AU2016250792B2 (zh) |
CA (2) | CA2985854C (zh) |
WO (1) | WO2016172532A2 (zh) |
ZA (1) | ZA201707705B (zh) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10311314B2 (en) | 2016-11-23 | 2019-06-04 | Ford Global Technologies, Llc | Detection of lane-splitting motorcycles |
WO2018102346A1 (en) * | 2016-11-29 | 2018-06-07 | The Regents Of The University Of California | Antimicrobial susceptibility testing device and method for use with portable electronic devices |
US10290158B2 (en) | 2017-02-03 | 2019-05-14 | Ford Global Technologies, Llc | System and method for assessing the interior of an autonomous vehicle |
US10509974B2 (en) * | 2017-04-21 | 2019-12-17 | Ford Global Technologies, Llc | Stain and trash detection systems and methods |
US11319575B2 (en) * | 2017-09-28 | 2022-05-03 | Bd Kiestra B.V. | Methods and systems for automated assessment of antibiotic sensitivity |
WO2019069378A1 (ja) * | 2017-10-03 | 2019-04-11 | オリンパス株式会社 | 培養情報処理装置 |
CA3077590A1 (en) | 2017-10-05 | 2019-04-11 | Becton, Dickinson And Company | Application development environment for biological sample assessment processing |
US10452923B2 (en) * | 2017-11-28 | 2019-10-22 | Visual Semantics, Inc. | Method and apparatus for integration of detected object identifiers and semantic scene graph networks for captured visual scene behavior estimation |
WO2019138572A1 (ja) * | 2018-01-15 | 2019-07-18 | オリンパス株式会社 | 細胞解析装置及び細胞解析システム |
GB2576139A (en) * | 2018-07-20 | 2020-02-12 | Ophthalmic Surgical Services Ltd | Ocular assessment |
CN109003248B (zh) * | 2018-07-23 | 2020-12-08 | 中国石油大学(华东) | 一种细粒沉积岩纹层结构的表征方法 |
US12039795B2 (en) * | 2018-12-20 | 2024-07-16 | Bd Kiestra B.V. | System and method for monitoring bacterial growth of bacterial colonies and predicting colony biomass |
US20220139527A1 (en) * | 2019-03-01 | 2022-05-05 | Agricam Aktiebolag | Method, device and system for detection of micro organisms |
CN113906482A (zh) * | 2019-06-03 | 2022-01-07 | 拜耳公司 | 用于在具有腔体的测试板中测定活性物质对螨类、昆虫和其他生物的作用的系统 |
WO2020261555A1 (ja) * | 2019-06-28 | 2020-12-30 | オリンパス株式会社 | 画像生成システムおよび画像生成方法 |
KR102315435B1 (ko) * | 2019-07-05 | 2021-10-21 | 주식회사 더웨이브톡 | 미생물 콜로니 검출 시스템 |
US20220259636A1 (en) * | 2019-07-05 | 2022-08-18 | The Wave Talk, Inc. | Microbial colony detection system |
CN110675386B (zh) * | 2019-09-26 | 2023-08-18 | 北京大学第一医院 | 一种b族链球菌的检测系统 |
CN110830768B (zh) * | 2019-10-31 | 2021-07-16 | 北京君立康生物科技有限公司 | 一种菌落图像的采集处理方法及装置 |
NL2024155B1 (en) * | 2019-11-04 | 2021-07-19 | Lumicks Ca Holding B V | Determining interactions between cells based on force spectroscopy |
CN115151953A (zh) * | 2020-05-19 | 2022-10-04 | 3M创新有限公司 | 使用机器学习模型来针对培养装置检测条件 |
KR102454880B1 (ko) * | 2021-02-05 | 2022-10-14 | 박병진 | 학습된 딥러닝 모델을 이용한 cfu 인식 방법 |
CN113025483A (zh) * | 2021-03-24 | 2021-06-25 | 四川若斌生物科技有限责任公司 | 一种微生物培养分析柜的采集分析系统及其分析方法 |
CN114350507A (zh) * | 2022-03-17 | 2022-04-15 | 广东工业大学 | 一种深海原位环境的单菌落分离装置及分离方法 |
WO2024006670A2 (en) * | 2022-06-29 | 2024-01-04 | The Regents Of The University Of California | Stain-free, rapid, and quantitative viral plaque assay using deep learning and holography |
WO2024019980A1 (en) * | 2022-07-22 | 2024-01-25 | Takeda Vaccines, Inc. | Computer-implemented determination of cell confluence |
WO2024073454A1 (en) * | 2022-09-26 | 2024-04-04 | The Penn State Research Foundation | Method for single cell antimicrobial susceptibility testing in a sub-doubling time |
WO2024084460A1 (en) * | 2022-10-21 | 2024-04-25 | Janssen Research & Development, Llc | Methods for microbial detection |
WO2024142424A1 (ja) * | 2022-12-27 | 2024-07-04 | 株式会社キーエンス | コロニー計数装置、制御方法およびプログラム |
CN116797638B (zh) * | 2023-04-28 | 2024-02-02 | 深圳零一生命科技有限责任公司 | 利用组合图像进行微生物计数的方法、装置、设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1582327A (zh) * | 2001-09-06 | 2005-02-16 | 基因描绘系统有限公司 | 复制细胞的快速检测 |
CA2205545C (en) * | 1994-12-15 | 2008-01-29 | Minnesota Mining And Manufacturing Company | Method and apparatus for detecting and identifying microbial colonies |
CN102300999A (zh) * | 2009-01-30 | 2011-12-28 | 生物梅里埃公司 | 在琼脂培养基上分离或计数微生物的方法 |
CN203782154U (zh) * | 2014-01-26 | 2014-08-20 | 湖南鸿鹰生物科技有限公司 | 一种多功能微生物菌落计数器 |
CN104081204A (zh) * | 2012-01-27 | 2014-10-01 | 艾德万赛斯信息技术有限公司 | 用于微生物早期检测的装置 |
CN104237235A (zh) * | 2014-09-15 | 2014-12-24 | 江苏大学 | 基于近红外成像技术的食源性致病菌的快速检测方法 |
CN104364659A (zh) * | 2012-03-30 | 2015-02-18 | Bd科斯特公司 | 用基质辅助激光解吸电离法(maldi)进行微生物的自动选择和鉴定 |
CN104380109A (zh) * | 2012-06-08 | 2015-02-25 | 布鲁克道尔顿公司 | 采用maldi质谱技术分析小菌落微生物的方法 |
Family Cites Families (78)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4700298A (en) | 1984-09-14 | 1987-10-13 | Branko Palcic | Dynamic microscope image processing scanner |
US4724215A (en) | 1985-02-27 | 1988-02-09 | Sherwood Medical Company | Automated microbiological testing apparatus and method |
AU4634593A (en) | 1992-07-13 | 1994-01-31 | Minnesota Mining And Manufacturing Company | A technique to count objects in a scanned image |
US5723308A (en) | 1993-05-14 | 1998-03-03 | Minnesota Mining And Manufacturing Company | Culture medium for rapid count of coliform bacteria |
FR2719602B1 (fr) | 1994-05-05 | 1996-07-26 | Biocom Sa | Procédé et installation pour la numérisation de cellules et micro-organismes, notamment des produits alimentaires ou des fluides biologiques. |
US5694478A (en) * | 1994-12-15 | 1997-12-02 | Minnesota Mining And Manufacturing Company | Method and apparatus for detecting and identifying microbial colonies |
US6122396A (en) | 1996-12-16 | 2000-09-19 | Bio-Tech Imaging, Inc. | Method of and apparatus for automating detection of microorganisms |
GB9714347D0 (en) | 1997-07-09 | 1997-09-10 | Oxoid Ltd | Image analysis systems and devices for use therewith |
JP2005002354A (ja) * | 1998-03-30 | 2005-01-06 | Sekisui Chem Co Ltd | 木質感のある成形品を得ることのできる押出成形用複合樹脂組成物およびその成形品の製造方法 |
JP4448251B2 (ja) | 1998-12-28 | 2010-04-07 | サッポロビール株式会社 | 微生物計数方法及びそれを達成するための装置 |
US6153400A (en) | 1999-03-12 | 2000-11-28 | Akzo Nobel N.V. | Device and method for microbial antibiotic susceptibility testing |
BR0003066A (pt) | 2000-07-21 | 2002-04-30 | Fundacao Oswaldo Cruz | Método e dispositivo para detecção microrganismos à fibra óptica |
US6884983B2 (en) | 2002-06-10 | 2005-04-26 | Palantyr Research, Llc | Imaging system for examining biological material |
US6605446B2 (en) | 2001-10-18 | 2003-08-12 | Gideon Eden | Detecting airborne microorganisms |
US20040101954A1 (en) | 2002-11-27 | 2004-05-27 | Graessle Josef A. | Back side plate illumination for biological growth plate scanner |
US20040102903A1 (en) * | 2002-11-27 | 2004-05-27 | Graessle Josef A. | Biological growth plate scanner |
AU2003295802B2 (en) | 2002-11-27 | 2009-06-04 | 3M Innovative Properties Company | Loading and ejection systems for biological growth plate scanner |
US7319031B2 (en) | 2002-11-27 | 2008-01-15 | 3M Innovative Properties Company | Mounting platform for biological growth plate scanner |
US7351574B2 (en) | 2002-11-27 | 2008-04-01 | 3M Innovative Properties Company | Loading and ejection systems for biological growth plate scanner |
US20040253660A1 (en) * | 2003-06-12 | 2004-12-16 | Giles Scientific, Inc. | Automated microbiological testing apparatus and method |
US20050048539A1 (en) * | 2003-06-13 | 2005-03-03 | The General Hospital Corporation | Methods to monitor molecule conformation and molecule/molecule proximity |
US7687239B2 (en) | 2003-07-12 | 2010-03-30 | Accelrs Technology Corporation | Sensitive and rapid determination of antimicrobial susceptibility |
US7496225B2 (en) | 2003-09-04 | 2009-02-24 | 3M Innovative Properties Company | Biological growth plate scanner with automated intake |
US7298886B2 (en) | 2003-09-05 | 2007-11-20 | 3M Innovative Properties Company | Counting biological agents on biological growth plates |
CA2600934A1 (en) | 2005-03-07 | 2006-09-14 | Novx Systems Inc. | Automated analyzer |
US8131477B2 (en) | 2005-11-16 | 2012-03-06 | 3M Cogent, Inc. | Method and device for image-based biological data quantification |
FI20051329A0 (fi) | 2005-12-27 | 2005-12-27 | Wallac Oy | Laitteisto ja menetelmä näytteiden optista mittausta varten |
CN101008991A (zh) * | 2006-01-23 | 2007-08-01 | 陈奎发 | 扫描细胞计数方法 |
JP4863932B2 (ja) | 2007-06-04 | 2012-01-25 | 株式会社エヌテック | コロニー数の計数方法 |
AU2008325345B2 (en) * | 2007-11-05 | 2014-07-10 | Bd Kiestra B.V. | Methods and apparatus for handling microbial samples |
EP2238432B1 (en) | 2008-01-17 | 2020-02-19 | Neogen Corporation | Co2 optical sensor for detection and enumeration of microorganisms |
US8417013B2 (en) | 2008-03-04 | 2013-04-09 | 3M Innovative Properties Company | Information management in automated processing of biological growth media |
MX2010010415A (es) | 2008-03-26 | 2010-11-04 | 3M Innovative Properties Co | Analisis espectral de medios de crecimiento biologico. |
US9042967B2 (en) | 2008-05-20 | 2015-05-26 | University Health Network | Device and method for wound imaging and monitoring |
JP5176718B2 (ja) * | 2008-06-25 | 2013-04-03 | ソニー株式会社 | 空間像表示装置 |
US8709344B2 (en) | 2009-05-15 | 2014-04-29 | BIO MéRIEUX, INC. | System and method for agitation of multiple specimen containers |
US8570370B2 (en) | 2009-08-31 | 2013-10-29 | Bio-Rad Laboratories, Inc. | Compact automated cell counter |
WO2011071734A1 (en) | 2009-12-08 | 2011-06-16 | 3M Innovative Properties Company | Illumination apparatus and methods for a biological growth plate scanner |
FR2958298B1 (fr) | 2010-04-06 | 2014-10-17 | Commissariat Energie Atomique | Procede de detection d'amas de particules biologiques |
CN102024259B (zh) * | 2010-12-24 | 2012-06-20 | 刘安安 | 一种菌落自动检测方法 |
US9404921B2 (en) * | 2011-02-11 | 2016-08-02 | Fzmb Gmbh Forschungzentrum Fuer Medizintechnik Und Biotechnologie | Process for detecting cells from a sample |
FR2971846B1 (fr) | 2011-02-21 | 2013-12-06 | Commissariat Energie Atomique | Procede d'observation d'un echantillon |
JP2014513332A (ja) | 2011-03-04 | 2014-05-29 | エルビーティー イノベーションズ リミテッド | 分類器の分類結果を改善する方法 |
EP2681716B1 (en) | 2011-03-04 | 2018-08-01 | LBT Innovations Limited | Colour calibration method for an image capture device |
KR101900121B1 (ko) | 2011-03-04 | 2018-09-18 | 엘비티 이노베이션스 리미티드 | 이미지 캡쳐 및 조명 장치 |
US9292729B2 (en) | 2011-03-04 | 2016-03-22 | Lbt Innovations Limited | Method and software for analysing microbial growth |
EP2520923A1 (en) | 2011-05-06 | 2012-11-07 | bioMérieux | Bio-imaging method and system |
CN102346146A (zh) * | 2011-07-18 | 2012-02-08 | 厦门大学 | 海洋中含细菌叶绿素的微生物的定量方法 |
EP2578693A1 (en) | 2011-10-07 | 2013-04-10 | Koninklijk Instituut voor de Tropen | Method for detecting bacteria |
JP6482459B2 (ja) | 2012-05-02 | 2019-03-13 | チャールズ リバー ラボラトリーズ, インコーポレイテッド | 細胞サンプル中の生存細胞を検出する方法 |
WO2014030674A1 (ja) | 2012-08-23 | 2014-02-27 | 大日本印刷株式会社 | 培地情報登録システム、コロニー検出装置、プログラム及び衛生管理システム |
US9829482B2 (en) * | 2012-09-13 | 2017-11-28 | Purdue Research Foundation | Motility-contrast imaging for oocyte and embryo viability assessment |
GB201216661D0 (en) | 2012-09-18 | 2012-10-31 | Spicer Consulting Ltd | photobioreactor |
FR2997502B1 (fr) | 2012-10-29 | 2014-12-26 | Commissariat Energie Atomique | Procede d'observation d'especes biologiques. |
EP2731051A1 (en) | 2012-11-07 | 2014-05-14 | bioMérieux | Bio-imaging method |
KR20150096718A (ko) | 2012-12-20 | 2015-08-25 | 쓰리엠 이노베이티브 프로퍼티즈 컴파니 | 이미지 내의 미생물 콜로니를 구분하는 방법 |
US20140177494A1 (en) | 2012-12-21 | 2014-06-26 | Alexander W. Min | Cloud-aware collaborative mobile platform power management using mobile sensors |
FR3001227B1 (fr) | 2013-01-21 | 2015-02-27 | Biomerieux Sa | Moyen, procede et produit-programme d’ordinateur pour determiner le taux de concentration de micro-organismes lors d’une analyse de fluide |
CN103177243B (zh) * | 2013-03-15 | 2016-04-13 | 浙江大学 | 一种海洋微生物的实时监测方法 |
US9677109B2 (en) * | 2013-03-15 | 2017-06-13 | Accelerate Diagnostics, Inc. | Rapid determination of microbial growth and antimicrobial susceptibility |
ITMI20130692A1 (it) | 2013-04-26 | 2014-10-27 | Copan Italia Spa | Dispositivo e procedimento per il processamento automatico di piastre di coltura per campioni microbiologici |
JP6454328B2 (ja) | 2013-05-23 | 2019-01-16 | ビオメリューBiomerieux | 物体の複数の画像から物体の表面の隆起レリーフマップを生成するための方法、システムおよびコンピュータプログラム製品。 |
JP2015073452A (ja) * | 2013-10-07 | 2015-04-20 | 株式会社エルメックス | コロニーのカウント方法およびコロニー計数装置 |
CA2935480C (en) | 2014-01-03 | 2021-06-29 | Copan Italia S.P.A. | Apparatus and method for treatment of diagnostic information relating to samples of microbiological material |
ES2976049T3 (es) | 2014-01-30 | 2024-07-22 | Bd Kiestra Bv | Sistema y método para la adquisición de imágenes utilizando la formación de imágenes de alta calidad supervisada |
US11041871B2 (en) | 2014-04-16 | 2021-06-22 | Bd Kiestra B.V. | System and method for incubation and reading of biological cultures |
FR3020485A1 (fr) | 2014-04-25 | 2015-10-30 | Biomerieux Sa | Procede, systeme et produit-programme d'ordinateur pour afficher une image d'un objet |
FR3021054B1 (fr) | 2014-05-14 | 2016-07-01 | Biomerieux Sa | Procede et systeme d’observation d’especes biologiques sur un milieu de culture |
FR3022916B1 (fr) | 2014-06-30 | 2018-04-06 | Biomerieux | Procede de detection d'une presence ou d'une absence de particules biologiques. |
DK3171765T3 (da) | 2014-07-24 | 2021-11-01 | Univ Health Network | Indsamling og analyse af data til diagnostiske formål |
US9347082B2 (en) | 2014-08-28 | 2016-05-24 | Omnivision Technologies, Inc. | Automated cell growth/migration detection system and associated methods |
FR3028866B1 (fr) | 2014-11-26 | 2018-03-09 | bioMérieux | Procede, systeme et produit-programme d'ordinateur pour determiner la croissance de micro-organismes |
FR3030749B1 (fr) | 2014-12-19 | 2020-01-03 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Methode d'identification de particules biologiques par piles d'images holographiques defocalisees |
US10769409B2 (en) * | 2015-04-21 | 2020-09-08 | Purdue Research Foundation | Culture detection and measurement over time |
ES2826400T3 (es) * | 2015-04-23 | 2021-05-18 | Bd Kiestra Bv | Recolección de contraste de colonias |
FR3038620B1 (fr) | 2015-07-09 | 2019-05-24 | Biomerieux | Procede de detection d'une presence ou d'une absence d'au moins une premiere zone d'inhibition |
CN107659717B (zh) * | 2017-09-19 | 2020-11-10 | 北京小米移动软件有限公司 | 状态检测方法、装置和存储介质 |
WO2019187420A1 (ja) * | 2018-03-26 | 2019-10-03 | 株式会社Screenホールディングス | 画像処理方法、画像処理装置、プログラムおよび記録媒体 |
-
2016
- 2016-04-22 KR KR1020177033257A patent/KR102643990B1/ko active IP Right Grant
- 2016-04-22 JP JP2018506805A patent/JP6845221B2/ja active Active
- 2016-04-22 EP EP16720645.7A patent/EP3286732A2/en active Pending
- 2016-04-22 CA CA2985854A patent/CA2985854C/en active Active
- 2016-04-22 AU AU2016250792A patent/AU2016250792B2/en active Active
- 2016-04-22 US US15/567,427 patent/US10696938B2/en active Active
- 2016-04-22 CN CN201680023381.2A patent/CN107580715B/zh active Active
- 2016-04-22 CN CN202210519307.7A patent/CN114723741A/zh active Pending
- 2016-04-22 WO PCT/US2016/028919 patent/WO2016172532A2/en active Application Filing
- 2016-04-22 CA CA3211036A patent/CA3211036A1/en active Pending
-
2017
- 2017-11-14 ZA ZA2017/07705A patent/ZA201707705B/en unknown
-
2020
- 2020-05-18 US US16/876,518 patent/US11674116B2/en active Active
-
2021
- 2021-02-25 JP JP2021028048A patent/JP7149360B2/ja active Active
- 2021-05-03 AU AU2021202750A patent/AU2021202750B2/en active Active
-
2023
- 2023-05-03 US US18/142,764 patent/US20230383232A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2205545C (en) * | 1994-12-15 | 2008-01-29 | Minnesota Mining And Manufacturing Company | Method and apparatus for detecting and identifying microbial colonies |
CN1582327A (zh) * | 2001-09-06 | 2005-02-16 | 基因描绘系统有限公司 | 复制细胞的快速检测 |
CN102300999A (zh) * | 2009-01-30 | 2011-12-28 | 生物梅里埃公司 | 在琼脂培养基上分离或计数微生物的方法 |
CN104081204A (zh) * | 2012-01-27 | 2014-10-01 | 艾德万赛斯信息技术有限公司 | 用于微生物早期检测的装置 |
CN104364659A (zh) * | 2012-03-30 | 2015-02-18 | Bd科斯特公司 | 用基质辅助激光解吸电离法(maldi)进行微生物的自动选择和鉴定 |
CN104380109A (zh) * | 2012-06-08 | 2015-02-25 | 布鲁克道尔顿公司 | 采用maldi质谱技术分析小菌落微生物的方法 |
CN203782154U (zh) * | 2014-01-26 | 2014-08-20 | 湖南鸿鹰生物科技有限公司 | 一种多功能微生物菌落计数器 |
CN104237235A (zh) * | 2014-09-15 | 2014-12-24 | 江苏大学 | 基于近红外成像技术的食源性致病菌的快速检测方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6845221B2 (ja) | 2021-03-17 |
BR112017022806A2 (pt) | 2018-07-10 |
CA2985854A1 (en) | 2016-10-27 |
US10696938B2 (en) | 2020-06-30 |
JP2018522572A (ja) | 2018-08-16 |
AU2021202750B2 (en) | 2023-11-09 |
JP2021090437A (ja) | 2021-06-17 |
CA3211036A1 (en) | 2016-10-27 |
AU2021202750A1 (en) | 2021-05-27 |
CN107580715A (zh) | 2018-01-12 |
US20230383232A1 (en) | 2023-11-30 |
US11674116B2 (en) | 2023-06-13 |
AU2016250792B2 (en) | 2021-02-04 |
US20200283719A1 (en) | 2020-09-10 |
WO2016172532A2 (en) | 2016-10-27 |
US20180112173A1 (en) | 2018-04-26 |
CA2985854C (en) | 2023-10-17 |
WO2016172532A3 (en) | 2016-12-08 |
CN114723741A (zh) | 2022-07-08 |
ZA201707705B (en) | 2021-05-26 |
KR20170139591A (ko) | 2017-12-19 |
JP7149360B2 (ja) | 2022-10-06 |
AU2016250792A1 (en) | 2017-11-16 |
KR102643990B1 (ko) | 2024-03-05 |
EP3286732A2 (en) | 2018-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107580715B (zh) | 用于自动计数微生物菌落的方法和系统 | |
AU2022200171B2 (en) | Colony contrast gathering | |
CN113853607A (zh) | 用于监测菌落的细菌生长和预测菌落生物量的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |