Nothing Special   »   [go: up one dir, main page]

CN111707828A - 通过使用绿蝇短膜虫细胞和荧光显微术来检测患者样品的抗体与双链dna的结合的方法 - Google Patents

通过使用绿蝇短膜虫细胞和荧光显微术来检测患者样品的抗体与双链dna的结合的方法 Download PDF

Info

Publication number
CN111707828A
CN111707828A CN202010186748.0A CN202010186748A CN111707828A CN 111707828 A CN111707828 A CN 111707828A CN 202010186748 A CN202010186748 A CN 202010186748A CN 111707828 A CN111707828 A CN 111707828A
Authority
CN
China
Prior art keywords
fluorescence image
image
ztb
binding
color channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010186748.0A
Other languages
English (en)
Other versions
CN111707828B (zh
Inventor
S·格拉赫
C·马察拉
M·丹克沃尔特
J·福格特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Euroimmun Medizinische Labordiagnostika AG
Original Assignee
Euroimmun Medizinische Labordiagnostika AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Euroimmun Medizinische Labordiagnostika AG filed Critical Euroimmun Medizinische Labordiagnostika AG
Publication of CN111707828A publication Critical patent/CN111707828A/zh
Application granted granted Critical
Publication of CN111707828B publication Critical patent/CN111707828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/58—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances
    • G01N33/582—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances with fluorescent label
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/564—Immunoassay; Biospecific binding assay; Materials therefor for pre-existing immune complex or autoimmune disease, i.e. systemic lupus erythematosus, rheumatoid arthritis, multiple sclerosis, rheumatoid factors or complement components C1-C9
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2800/00—Detection or diagnosis of diseases
    • G01N2800/10—Musculoskeletal or connective tissue disorders
    • G01N2800/101—Diffuse connective tissue disease, e.g. Sjögren, Wegener's granulomatosis
    • G01N2800/104—Lupus erythematosus [SLE]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Hematology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Urology & Nephrology (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Medicinal Chemistry (AREA)
  • Microbiology (AREA)
  • Food Science & Technology (AREA)
  • Biotechnology (AREA)
  • Cell Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Rehabilitation Therapy (AREA)
  • Rheumatology (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及用于借助于荧光显微术和借助于数字图像处理通过使用绿蝇短膜虫(Crithidia luciliae)细胞来检测患者样品的自身抗体与双链脱氧核糖核酸(DNA)的结合的方法和装置。

Description

通过使用绿蝇短膜虫细胞和荧光显微术来检测患者样品的抗 体与双链DNA的结合的方法
本发明涉及用于借助于荧光显微术和借助于数字图像处理通过使用绿蝇短膜虫(Crithidia luciliae)细胞来检测患者样品的自身抗体与双链脱氧核糖核酸(DNA)的结合的方法和装置。
针对脱氧核糖核酸(DNA)的自身抗体的检测例如对于SLE(系统性红斑狼疮或播散性红斑狼疮)的诊断具有决定性意义。原则上，在这种情况下必须区分两种类型：针对dsDNA的抗体和针对单链变性DNA(单链DNA，ssDNA)的抗体。针对dsDNA的抗体与位于DNA的脱氧核糖磷酸骨架中的表位反应。与此相反，针对ssDNA的抗体主要与来自嘌呤和嘧啶碱基的区域的表位结合。但是它们也能够识别脱氧核糖磷酸骨架的表位。抗-dsDNA抗体几乎仅在SLE中发现。其患病率，视检测方法和疾病活动性而定，为20％至90％。抗-dsDNA抗体偶尔也在具有其他自身免疫疾病和感染的患者中以及在罕见情况下在临床上健康的人中检测到。后者在85％的情况下在抗-dsDNA首次检测后5年内发展为SLE。然而，如果不存在针对dsDNA的抗体，并不能完全排除SLE。SLE是来自胶原病这一组的系统性自身免疫疾病。诊断由美国风湿病学会(ACR)的1997年修改的11条标准指导。在存在11条标准中的4条的情况下，可以以80％至90％的确定性诊断SLE。
间接免疫荧光是用于测定针对dsDNA的人抗体的体外测试。例如，涂覆有绿蝇短膜虫涂片的所谓BIOCHIP可以用作基材。将这些例如与经稀释的患者样品一起进行温育。在阳性反应的情况下，特异性抗体与抗原结合。将经结合的抗体(IgG)在第二个温育步骤中例如用经荧光素标记的抗人抗体进行染色并且在荧光显微镜下使其可见。
因此，从现有技术知道，提供基材，其中在所述基材上固定多个绿蝇短膜虫细胞。这样的固定可以例如借助于乙醇来实现。
然后，将所述基材与患者样品(优选地，经稀释的血清)一起进行温育，其中所述患者样品潜在地具有待检测的自身抗体。根据现有技术，然后可以将所述细胞或所述基材与所谓的缀合物一起进行温育，所述缀合物具有用例如绿色荧光染料进行标记的二抗。
然后，在用激发光照射经温育的基材后，可以采集由绿色荧光染料发出的荧光辐射作为荧光显微术的显微图像。
示例性地，图1中以图像SB呈现了这样的显微图像。
图2中再一次更详细地呈现了来自图1的单个短膜虫细胞CR。一个绿蝇短膜虫细胞CR的这样的分图像TB清楚地显示了在动基体K上的染色，动基体也被称为线粒体。在细胞核Z上以及在基体B上也有染色。
为了可靠地检测来自患者样品的自身抗体与双链DNA的结合，决定性的是检测在基材的荧光图像SB中多个动基体的染色。如图2中所显示的，对于细胞核Z以及对于基体B也可以有结合或染色，因此必须借助于图像处理，相关于其在图像中的位置可靠地确定动基体K。
然后，通过关于在荧光图像SB中的各个绿蝇短膜虫细胞的各个动基体的各个染色进行评价，可以总计确定患者样品的自身抗体与双链DNA的以平均值显示的总结合。
因此，本发明的任务是，提供一种使用数字图像处理的方法以确定来自患者样品的自身抗体与双链DNA的结合，其中可以可靠地确定在荧光图像内的不同绿蝇短膜虫细胞的不同动基体区域的染色。
因此，提出了用于借助于荧光显微术和借助于数字图像处理通过使用绿蝇短膜虫细胞来检测患者样品的自身抗体与双链DNA的结合的方法，该方法包括不同的步骤。首先，提供具有多个绿蝇短膜虫细胞的基材。然后将所述基材与潜在地具有所述自身抗体的患者样品一起进行温育。随后，将所述基材与第一荧光染料一起进行温育，所述第一荧光染料优选地产生在红色通道中的染色。进一步地，将所述基材与缀合物或与二抗一起进行温育，所述缀合物或二抗各自用第二荧光染料，优选地用绿色荧光染料进行标记。进一步地，在相应于所述第一荧光染料的第一颜色通道(优选地，红色颜色通道)中采集所述基材的第一荧光图像。所述采集优选地借助于荧光显微镜来进行。进一步地，在相应于所述第二荧光染料的第二颜色通道(优选地，绿色颜色通道)中采集所述基材的第二荧光图像。所述采集优选地借助于荧光显微镜来进行。然后，进一步地，识别在所述第一荧光图像中的各个第一分图像，其中所述第一分图像各自代表至少一个绿蝇短膜虫细胞。进一步地，确定所述第二荧光图像的各个第二分图像，其相应于所述第一荧光图像的所述各个第一分图像。进一步地，借助于经预训练的卷积神经网络(convolutional neural network；CNN)分别处理所述各个第二分图像的至少一个子集以确定各个结合度。所述各个结合度指示在各个第二分图像的各个绿蝇短膜虫细胞的各个动基体区域中的自身抗体的各个结合程度。最后，基于所述各个结合度来确定与患者样品的自身抗体与双链DNA的结合有关的总结合度。
所述患者样品为液体患者样品，优选地为液体血液或液体血液组分。特别地，所述液体患者样品为液体血清。优选地，将所述患者样品用所谓的洗涤缓冲液进行稀释，所谓的洗涤缓冲液优选地为所谓的PBS Tween。
所述缀合物具有已用所述第二荧光染料进行标记的二抗。
所提出的方法特别地为用于在体外测定在液体患者样品中一抗的存在的方法。
所述基材特别地为生物学样品，其具有绿蝇短膜虫这一物种的动物致病性血鞭毛虫。这些原生动物拥有包含双链DNA的巨大线粒体(动基体)，其基本上不具有其他在细胞核中所包含的抗原。与动基体反应的来自患者样品的初级自身抗体是针对dsDNA的。
所述荧光显微术特别地是所谓的间接免疫荧光显微术(IIFT显微术)。
优选地，用激发辐射照射所述基材，以激发所述第一和第二荧光染料的荧光辐射。所述激发辐射优选地为蓝光并且因此具有在蓝色光谱中的波长。优选地，对于所述第一荧光染料和对于所述第二荧光染料，所述激发辐射具有相同的波长或相同的波长范围。所述第一荧光染料优选地为红色荧光染料，特别地为所谓的依文思蓝(Evans Blue)(T-1824)。所述第二荧光染料优选地为绿色荧光染料，特别地是异硫氰酸荧光素(FITC)类型的。
为了阐明根据本发明的方法的一个或多个可能实现的优点，下面进行更详细的论述。
图7显示了装置V1，借助于其可以施行根据本发明的方法。可以将装置V1称作荧光显微镜。装置V1具有用于基材S的支承物H，所述基材已经以前面所描述的方式进行了温育。通过光学单元O将激发光源LQ的激发光AL引导至基材S。然后，借助于另外的光学元件在两个不同的颜色通道中将所产生的荧光辐射FL分为不同的荧光辐射FL1和FL2。照相机K1是第一图像采集单元并且然后采集第一荧光图像，特别地借助于红色滤光器FR在红色通道中采集第一荧光图像。另一个照相机K2是第二图像采集单元并且然后在第二颜色通道中采集基材S的第二荧光图像，特别地借助于绿色滤光器FG在绿色通道中采集第二荧光图像。所产生的荧光图像被作为图像信息BI1、BI2提供给计算单元R并且由后者进行处理。优选地，仅给予单个图像采集单元，从而通过滤光器FR、FG的暂时交换，所述单个图像采集单元在不同时间点采集不同颜色通道的经不同染色的荧光图像。
图3显示了来自红色通道的示例性第一荧光图像SR。图4显示了在绿色通道中的示例性第二荧光图像SG。
根据本发明，首先基于来自图3的第一荧光图像SR识别第一分图像，所述第一分图像具有至少一个绿蝇短膜虫细胞。图5显示了与此相应的由矩形标记的第一分图像以及确定的第一分图像区域ETB。
与来自图4的第二荧光图像SG相关，图6显示了各个第二分图像或第二分图像区域，其相应于来自图5的第一荧光图像SR的各个第一分图像。特别地，呈现了与来自图5的确定的第一分图像区域ETB相应的确定的第二分图像区域ZTB。在本申请的范围内，也可以将分图像区域称为分图像。
来自图6的第二分图像区域ZTB与第一分图像区域ETB不是绝对相同的，但是它相应于第一分图像区域，这是因为相同的绿蝇短膜虫细胞通过这些分图像区域ETB、ZTB而被采集。如果已确定在所述第一荧光图像中的第一分图像区域或第一分图像ETB，如在图5中所呈现的，那么然后就可以使用所述第一分图像区域ETB的中心并将具有预先规定的尺寸的相应的第二分图像区域ZTB放在该中心周围，以限定第二分图像区域ZTB。在图6中，所述第二分图像区域通过虚线标记来记录，其清楚地说明了来自图5的第一分图像区域ETB与来自图6的第二分图像区域ZTB之间的对应关系。因此，分图像区域ZTB与分图像区域ETB不必绝对相同，但是可以是相同的。
图2中呈现了这样一个示例性第二分图像ZTB。如在图2中所看到的，由于抗体的结合，在一个绿蝇短膜虫细胞中可以给出至多三个显著染色的区域，即在动基体K、基体B以及细胞核Z的区域中。因此，必须确保在第二颜色通道的荧光图像SG中不使用任何显著染色作为评价标准，而是仅使用动基体区域的染色作为评价标准。
图14a显示了根据本发明的方法的另一个步骤，其中对于确定的第二分图像ZTB1，借助于卷积神经网络CNN来确定相关的结合度IBM1。结合度IBM1指示在所述第二分图像中所呈现的绿蝇短膜虫细胞的动基体区域之中自身抗体的结合程度。
图14b图解说明了根据本发明的方法的另一个步骤，其中然后基于不同第二分图像区域的不同结合度IBM1、IBM2来确定总结合度，其与患者样品的自身抗体与在所述基材中的双链DNA的待检测的结合有关。
因此，根据本发明的方法的目标是测定初级自身抗体与在各个绿蝇短膜虫细胞的各个动基体区域中的dsDNA的结合，这借助于确定在相应的第二分图像区域中由第二荧光染料对于相应的动基体区域的相应染色来进行。
要强调说明的是，在根据本发明的方法中，不是简单地将来自图4的第二颜色通道的整个荧光图像SG输送给卷积神经网络以对多个经染色的动基体区域进行整体识别，而是本发明明确地不同于借助于卷积神经网络的用于整个第二荧光图像SG的这样的整体分类方法。即，根据本发明，首先进行预处理，从而使得在所述第一荧光图像中识别出第一分图像区域，以便然后在来自图6的第二荧光图像中切割出相应的第二分图像区域，如在图2中示例性地对于这样的第二分图像区域ZTB所图解说明的那样。如在图2中所看到的，由于抗体的结合，在一个绿蝇短膜虫细胞中可以给出至多三个显著染色的区域，即在动基体K、基体B以及细胞核Z的区域中。然后首先将这些第二分图像区域各自由CNN分开进行处理，以便对于各个第二分图像确定代表动基体区域的各个子图像，并且以便然后特别地借助于子图像来确定各个结合度，所述各个结合度指示在各个第二分图像的各个绿蝇短膜虫细胞的各个动基体区域中的自身抗体的各个结合程度。换言之，特别地，首先将这些第二分图像区域各自由CNN分开进行处理，以便对于各个第二分图像识别各个子图像，和以便然后基于所述各个子图像来确定关于所述各个第二分图像的各个结合度。这样的结合度指示在各个第二分图像的各个绿蝇短膜虫细胞的各个动基体区域中的自身抗体的各个结合程度。然后，基于这些各个单个结合度来确定总结合度。
通过在此所描述的方式，根据本发明的方法在定位动基体区域中或在检测动基体区域的变色中取得了高度的精确性。如果将来自图4的第二颜色通道的整个荧光彩色图像SG输送给卷积神经网络以检测各个不同绿蝇短膜虫细胞的动基体或各个不同动基体区域的变色，那么在此可能将其他区域例如基体区域或细胞核区域各自错误地识别为动基体区域并且因此伪造了初级自身抗体与dsDNA的结合的测定。此外，整个荧光图像SG以大约90％的非常大的份额具有仅背景区域，因此在整个荧光图像SG由CNN进行处理的情况下，也不得不处理属于背景区域的图像像素，这使得CNN是非常成本过高的并且使得处理是效率低下的。此外，CNN不得不从整个荧光图像SG中另外附加地识别各自代表一个动基体的这样的子区域，这由于细胞核区域或基体区域的可能染色而是成本过高的。即在基体区域和/或细胞核区域染色的情况下，不一定存在动基体区域的染色。而且由于在基材或第二颜色通道的荧光彩色图像SG内绿蝇短膜虫细胞的不同位置，如在图4中所呈现的，对于通过卷积神经网络将单个图像片段准确地分类为动基体来说，仅仅产生了过多的自由度。
代替通过CNN来处理整个第二荧光图像，根据本发明，对于具有各个绿蝇短膜虫细胞的各个第二分图像，通过CNN来进行分开处理。基于对于所述第一荧光图像的评价，仅仅以其相关于整个第二荧光图像的位置来确定所述第二分图像。由此使得CNN能够明确地在单个第二分图像上，因而在具有单个绿蝇短膜虫细胞的各个第二分图像上进行训练。然后，CNN仅须在该第二分图像中检测动基体的位置。可以仅仅将该位置优选地确定为所谓的子图像。然后，相关于单个动基体，可以通过CNN来确定关于该细胞或该动基体的结合度。
换言之，根据本发明，通过各自仅将确定的单个第二分图像区域输送到卷积神经网络中，可能的是，将卷积神经网络仅限制于分析这样的第二分图像或者单独呈现单个绿蝇短膜虫细胞，以便识别动基体并确定与所述自身抗体有关的结合度。如果在训练阶段的过程中将整个荧光彩色图像例如来自图4的图像SG输送给卷积神经网络以用于为了检测不同动基体的分类任务，那么该卷积神经网络在其自由度方面将不得不配置得非常大并且训练这样的CNN是非常成本过高和效率低下的。由于根据本发明的卷积神经网络各自仅必须分开地处理单个第二分图像区域以便然后确定相应的结合度，因此可以将卷积神经网络限制于处理代表一个绿蝇短膜虫细胞的图像，如在图2中所呈现的。
本发明的有利实施方案是从属权利要求的主题并且将会在下面的描述中通过在一些情况下参考附图来更详细地进行阐明。
优选地，对于各个第二分图像，所述方法包括下列步骤：选择所述各个第二分图像的各个子图像，其中所述各个子图像代表各个绿蝇短膜虫细胞的各个动基体区域；进一步地，基于所述各个子图像来确定所述各个结合度。优选地，所述方法还包括：基于所述各个结合度来确定所述总结合度。
优选地，所述方法包括下列步骤：借助于卷积神经网络来对于各个第二分图像确定至少一个各个最终特征图(Feature Map)；进一步地，对于所述各个第二分图像或对于各个最终特征图，特别地基于所述各个最终特征图，确定与在各个动基体区域中自身抗体的结合的存在有关的各个置信度；进一步地，基于所确定的置信度来选取所述第二分图像的子集或选取所述各个最终特征图的子集；进一步地，分别处理各个所选取的第二分图像的各个特征图以确定所述各个结合度。优选地，所述方法还包括：基于所述各个结合度来确定所述总结合度。
优选地，对于来自所选取的子集的各个第二分图像，所述方法包括下列步骤：基于相应于所述各个第二分图像的各个最终特征图来选择所述各个第二分图像的各个子图像，其中所述各个子图像代表各个绿蝇短膜虫的各个动基体区域；以及进一步地，基于所述各个子图像来确定所述各个结合度。优选地，所述方法还包括：基于所述各个结合度来确定所述总结合度。
优选地，对于来自所选取的子集的各个第二分图像，所述方法还包括下列步骤：基于所述各个最终特征图来查明各个掩模算子(masking operator)；进一步地，借助于对于所述各个第二分图像应用所述各个掩模算子来选择所述各个第二分图像的各个子图像；进一步地，基于所述各个子图像来确定所述各个结合度。优选地，所述方法还包括：基于所述各个结合度来确定所述总结合度。
优选地，所述方法被配置为使得在处理第二分图像的过程中，所述卷积神经网络：在第一处理层面中，借助于第一卷积层基于所述第二分图像来生成第一集合的所得的特征图；进一步地，在第二处理层面中，借助于第二卷积层基于所述第一集合的二维特征图来生成第二集合的所得的特征图，以及还借助于第三卷积层基于所述第二集合的二维特征图来生成第三集合的所得的特征图，其中所述第二集合具有比所述第一集合更少数目的所得的特征图，和其中所述第三集合具有比所述第二集合更多数目的所得的特征图。
优选地，所述方法被配置为使得所述第二卷积层和所述第三卷积层作为顺次处理路径的分步骤互相相随，其中，在所述第二处理层面中，与所述顺次处理路径并行地存在另一条处理路径，在该处理路径中所述卷积神经网络借助于至少一个第四卷积层基于所述第一集合的二维特征图来生成第四集合的所得的特征图；其中，进一步地，所述卷积神经网络基于所述第三集合和所述第四集合的所得的特征图来生成相应于所述第二分图像的最终特征图；和其中，进一步地，在所述并行处理路径中的相继卷积层的数目比在所述顺次处理路径中的相继卷积层的数目少。
优选地，所述方法包括下列步骤：通过使用预先规定的采集参数来在所述第一颜色通道中采集第一临时荧光图像；确定亮度值，其指示所述第一颜色通道的所述第一临时荧光图像的亮度；依照所确定的亮度值来修改采集参数；通过使用经修改的采集参数来在所述第一颜色通道中采集第二临时荧光图像；以及进一步地，使用所述第一颜色通道的所述第二临时荧光图像作为所述第一颜色通道的所述第一荧光图像。
优选地，所述方法包括下列步骤：通过使用预先规定的采集参数来在所述第一颜色通道中采集第一临时荧光图像；确定亮度值，其指示所述第一颜色通道的所述第一临时荧光图像的亮度；借助于所述亮度值来确认所述第一颜色通道的所述第一临时荧光图像的亮度是否符合所期望的亮度；在所述第一颜色通道的所述第一临时荧光图像的亮度符合所期望的亮度的情况下，使用所述第一颜色通道的所述第一临时荧光图像作为所述第一颜色通道的所述第一荧光图像；在所述第一临时荧光图像的亮度不符合所期望的亮度的情况下，依照所确定的亮度值来修改采集参数，通过使用经修改的采集参数来在所述第一颜色通道中采集第二临时荧光图像，使用所述第一颜色通道的所述第二临时荧光图像作为所述第一颜色通道的所述第一荧光图。
优选地，所述方法包括下列步骤：通过使用预先规定的采集参数来在所述第二颜色通道中采集第一临时荧光图像；确认所述第二颜色通道的所述第一临时荧光图像的亮度是否超过最大亮度；在所述第二颜色通道的所述第一临时荧光图像不超过最大亮度的情况下，使用所述第一临时荧光图像作为所述第二颜色通道的所述第二荧光图像；在所述第二颜色通道的所述第一临时荧光图像超过最大亮度的情况下，在所述第二颜色通道中采集第二临时荧光图像并且使用所述第二颜色通道的所述第二临时荧光图像作为所述第二颜色通道的所述第二荧光图像。
还提出了根据本发明的用于借助于荧光显微术和借助于数字图像处理通过使用绿蝇短膜虫细胞来检测患者样品的自身抗体与双链脱氧核糖核酸的结合的装置，所述装置包含用于基材的支承装置，所述基材具有多个绿蝇短膜虫细胞并且与具有所述自身抗体的患者样品、与第一荧光染料以及还与二抗一起进行温育，所述二抗各自用第二荧光染料进行标记。所述装置还包含至少一个图像采集单元，其用于在第一颜色通道中采集所述基材的第一荧光图像以及还用于在第二颜色通道中采集所述基材的第二荧光图像。所述装置还包含至少一个计算单元，其被设计成用于：识别在所述第一荧光图像中的各个第一分图像，其各自代表至少一个绿蝇短膜虫细胞；进一步地，确定所述第二荧光图像的各个第二分图像，其相应于所述第一荧光图像的所述各个第一分图像；进一步地，借助于经预训练的卷积神经网络分别处理所述各个第二分图像的至少一个子集以确定各个结合度，其指示在各个第二分图像的各个绿蝇短膜虫细胞的各个动基体区域中的自身抗体的各个结合程度；以及进一步地，基于所述各个结合度来确定患者样品的自身抗体与双链脱氧核糖核酸的结合的总结合度。
还提出了一种计算单元，其被设计成用于在数字图像处理的过程中，接收第一荧光图像，所述第一荧光图像代表由第一荧光染料对于具有多个绿蝇短膜虫细胞的基材的染色，以及接收第二荧光图像，所述第二荧光图像代表由第二荧光染料对于所述基材的染色；进一步地，识别在所述第一荧光图像中的各个第一分图像，其各自代表至少一个绿蝇短膜虫细胞；进一步地，确定所述第二荧光图像的各个第二分图像，其相应于所述第一荧光图像的所述各个第一分图像；进一步地，借助于经预训练的卷积神经网络分别处理所述各个第二分图像的至少一个子集以确定各个结合度，其指示在各个第二分图像的各个绿蝇短膜虫细胞的各个动基体区域中的自身抗体的各个结合程度；以及进一步地，基于所述各个结合度来确定患者样品的自身抗体与双链脱氧核糖核酸的结合的总结合度。
还提出了一种数据网络装置，其包含至少一个数据接口，其用于接收第一荧光图像，所述第一荧光图像代表由第一荧光染料对于具有多个绿蝇短膜虫细胞的基材的染色，以及还用于接收第二荧光图像，所述第二荧光图像代表由第二荧光染料对于所述基材的染色。所述数据网络装置还包含计算单元，其被设计成用于在数字图像处理的过程中：识别在所述第一荧光图像中的各个第一分图像，其各自代表至少一个绿蝇短膜虫细胞；进一步地，确定所述第二荧光图像(SG)的各个第二分图像，其相应于所述第一荧光图像的所述各个第一分图像；进一步地，借助于经预训练的卷积神经网络分别处理所述各个第二分图像的至少一个子集以确定各个结合度，其指示在各个第二分图像的各个绿蝇短膜虫细胞的各个动基体区域中的自身抗体的各个结合程度；以及进一步地，基于所述各个结合度来确定患者样品的自身抗体与双链脱氧核糖核酸的结合的总结合度。
还提出了一种用于数字图像处理的方法，所述方法包括下列步骤：接收第一荧光图像，所述第一荧光图像代表由第一荧光染料对于具有多个绿蝇短膜虫细胞的基材的染色，以及还接收第二荧光图像，所述第二荧光图像代表由第二荧光染料对于所述基材的染色；进一步地，识别在所述第一荧光图像中的各个第一分图像，其各自代表至少一个绿蝇短膜虫细胞；进一步地，确定所述第二荧光图像的各个第二分图像，其相应于所述第一荧光图像的所述各个第一分图像；进一步地，借助于经预训练的卷积神经网络分别处理所述各个第二分图像的至少一个子集以确定各个结合度，其指示在各个第二分图像的各个绿蝇短膜虫细胞的各个动基体区域中的自身抗体的各个结合程度；以及进一步地，基于所述各个结合度来确定患者样品的自身抗体与双链脱氧核糖核酸的结合的总结合度。
还提出了一种计算机程序产品，其包含这样的指令，所述指令在由计算机执行所述程序之时使所述计算机施行根据本发明的用于数字图像处理的方法。
还提出了一种数据载体信号，其传输所提出的计算机程序产品。
下面将依靠具体的实施方案参照附图来更详细地阐明本发明而不限制总的发明构思，其中：
图1显示了具有多个绿蝇短膜虫细胞的基材的荧光图像；
图2显示了来自图1的荧光图像的分图像，其具有一个绿蝇短膜虫细胞；
图3显示了在第一颜色通道中的所述基材的荧光图像；
图4显示了在第二颜色通道中的所述基材的荧光图像；
图5显示了具有经识别的各个第一分图像区域的所述第一颜色通道的荧光图像；
图6显示了具有经确定/识别的各个第二分图像区域的所述第二颜色通道的荧光图像，所述各个第二分图像区域相应于所述第一荧光图像的所述各个第一分图像区域；
图7显示了根据本发明的装置的实施实例；
图8显示了所述第一颜色通道的荧光图像的经修改的版本，具有对比度增加；
图9显示了从图8的对比度增加的荧光图像得出的二值图像；
图10a显示了示例性的第二分图像；
图10b显示了第一最终特征图；
图10c显示了优选地待确定的第二最终特征图；
图11a显示了来自图10b的第一最终特征图的插值版本；
图11b显示了从图11a的插值特征图得出的二值掩模算子；
图11c显示了来自图10a的第二分图像区域的子图像的所选择的子图像区域；
图12a再次显示了所述第二分图像；
图12b显示了在所述第二分图像区域中所指出的图像区域的呈现，该所指出的图像区域相应于来自图11c的子图像；
图13显示了用于施行根据本发明的方法的步骤；
图14a显示了用于对于第二分图像区域查明患者样品的初级自身抗体与动基体区域的结合的结合度的基本原理；
图14b显示了多个结合度的处理，用于确定总结合度；
图15显示了用于确定在所述第一颜色通道的第一荧光彩色图像中的第一分图像区域的分步骤；
图16a显示了卷积神经网络的优选实施方案的示例性图解说明；
图16b显示了卷积神经网络的第一种类型的卷积层的分步骤；
图16c显示了卷积神经网络的另一种类型的卷积层的分步骤；
图17显示了用于基于相关的特征图对于相应的第二分图像确定与自身抗体与动基体区域的结合的存在有关的置信度的处理步骤；
图18显示了用于基于所述各个第二分图像的置信度来选取所述第二分图像的子集的步骤；
图19显示了用于选择各个第二分图像的各个子图像以及用于借助于将二值掩模算子应用至所述各个第二分图像基于所述各个子图像来确定各个结合度的步骤；
图20显示了根据本发明的计算单元的示例性呈现；
图21显示了根据本发明的数据网络装置的示例性呈现；
图22显示了根据本发明的计算机程序产品以及根据本发明的数据载体信号的示例性呈现；
图23显示了CNN的第一处理层面的实施实例；
图24显示了CNN的第二处理层面的第一部分的实施实例；
图25显示了CNN的第二处理层面的第二部分的实施实例；
图26显示了CNN的第三处理层面的实施实例；
图27显示了子图像的像素值；
图28显示了关于第二荧光图像的各个第二分图像的各个置信度值；
图29显示了根据优选的第一实施方案的用于采集第一荧光图像的方法的步骤；
图30显示了根据优选的第二实施方案的用于采集第一荧光图像的方法的步骤；以及
图31显示了根据一个优选的实施方案的用于采集第二荧光图像的方法的步骤。
图13图解说明了用于施行根据本发明的方法的不同步骤。在步骤S1中，提供具有多个绿蝇短膜虫细胞的基材。在步骤S2中，将所述基材与患者样品一起进行温育。所述患者样品潜在地具有所述自身抗体。在步骤S3中，将所述基材与第一荧光染料一起进行温育。在步骤S4中，将所述基材与二抗一起进行温育，所述二抗各自用第二荧光染料进行标记。在步骤S5中，在相应于所述第一荧光染料的第一颜色通道中采集所述基材的第一荧光图像。在步骤S6中，在相应于所述第二荧光染料的第二通道中采集所述基材的第二荧光图像。在步骤S7中，识别在所述第一荧光图像中的各个第一分图像，其各自具有一个绿蝇短膜虫细胞。在图5中呈现了这样的示例性的第一分图像ETB。在接着的步骤S8中，确定所述第二荧光图像的各个第二分图像，其相应于所述第一荧光图像的所述各个第一分图像。在图6中呈现了这样的示例性的第二分图像ZTB，其相应于来自图5的第一分图像ETB。在步骤9中，借助于经预训练的卷积神经网络分别处理所述各个第二分图像的至少一个子集以确定各个结合度，其指示在各个第二分图像的各个绿蝇短膜虫细胞的各个动基体区域中的自身抗体的各个结合程度。在步骤S10中，基于所述各个第二分图像的所述各个结合度来确定与患者样品的自身抗体与在所述基材中的双链DNA的结合有关的总结合度。在步骤S11中，优选地提供所述总结合度，备选地或另外地，输出和/或显示所述总结合度。
图14a显示了通过卷积神经网络对于确定的第二分图像区域ZTB1的示例性的(特别地，部分的)处理，以确定各个独个结合度IBM1。结合度IBM1指示在所述独个第二分图像区域ZTB1的独个绿蝇短膜虫细胞的独个动基体区域中自身抗体的独个结合程度。
图14b图解说明了通过查明步骤ERS来确定总结合度GBM(这相应于来自图13的步骤S10)，以便基于各个第二分图像的各个结合度IBM1、IBM2来确定总结合度GBM。
图7图解说明了根据本发明的装置V1的实施实例。装置V1具有用于基材S的支承装置H。将激发光源LQ的激发光AL通过光学滤光器F1进行预过滤，然后借助于二色镜SP1通过光学单元O引导至所述基材。然后，所产生的荧光辐射或所产生的荧光FL从所述基材通过物镜O、通过二色镜SP1和通过最终滤光器F2返回。光学滤光器F2过滤出激发辐射或激发光AL的波长。然后，荧光FL被输送至以照相机K1以及优选地另一个照相机K2的形式的至少一个图形采集单元。通过二色镜SP2，将荧光FL分割。通过光学滤光器FR过滤出第一颜色通道(优选地，红色颜色通道)的荧光FL1，并且将其输送至图像采集单元K1。图像采集单元K1在所述第一颜色通道中采集基材S的第一荧光图像。通过光学滤光器FG过滤出第二颜色通道(优选地，绿色颜色通道)的荧光辐射FL2，并且将其输送至图像采集单元K2，图像采集单元K2在所述第二颜色通道中采集基材S的第二荧光图像。装置V1可以通过数据接口DS1来提供结果数据ED，其指示总结合度。
计算单元R被设计成用于接收以数字数据的形式的所述第一荧光图像BI1。进一步地，计算单元R被设计成用于接收以数字数据的形式的所述第二荧光图像BI2。进一步地，计算单元R被设计成用于施行根据本发明的方法的步骤S7至S10。
根据本发明的计算单元R也可以如在图20中所呈现的那样来实现。在这种情况下，计算单元R通过至少一个数据接口DS2以至少一个数据信号SI的形式接收第一荧光图像BI1和第二荧光图像BI2。在施行来自图13的根据本发明的方法的相应步骤S7至S10后，计算单元R确定了患者样品的自身抗体与双链DNA的结合的总结合度。优选地，计算单元R具有通向显示单元AE的输出接口AS，经由该输出接口可以输出或显示所述总结合度。优选地，计算单元R具有通向数据网络的另一个数据接口DS3，经由该数据接口所述计算单元通过数据信号SI3来提供所述总结合度。计算单元R的数据接口DS2、DS3也可以是公共数据接口。优选地，数据接口DS2、DS3为网络数据接口。
计算单元R也可以是根据本发明的数据网络装置DV的一部分，如在图21中所图解说明的。数据网络装置DV具有至少一个数据接口DS4，用于借助于至少一个数据信号SI1来接收第一荧光图像BI1和第二荧光图像BI2。数据网络装置DV具有计算单元R，其优选地经由内部数据总线IDB与存储单元MEM和数据接口DS4相连接。计算单元R以如前面关于图20所描述的那种方式来进行设计。数据网络装置DV可以是单个计算机或所谓的云解决方案。因此，数据网络装置DV借助于计算单元R来施行根据本发明的用于数字图像处理的方法，在所述方法中接收荧光图像BI1、BI2和在所述方法中计算单元R施行来自图13的步骤S7至S10。
图22图解说明了根据本发明的计算机程序产品CPP，其包含这样的指令，所述指令在由计算机CO执行所述程序之时使所述计算机施行根据本发明的数字图像处理的方法。
计算机程序产品CPP可以以数据载体信号SI2的形式来提供，并且由计算机CO借助于位于计算机CO上的数据接口DSX来接收。因此，数据载体信号SI2传输计算机程序产品CPP。
图15图解说明了作为用于识别第一分图像区域ETB(其呈现在图5中)的步骤S7的子步骤的分步骤S71、S72、S73。在分步骤S71中，借助于所谓的CLAHE方法(对比度受限的自适应直方图均衡化(Contrast Limited Adaptive Histogram Equalization))就其对比度修改来自图3的荧光图像SR，从而产生来自图8的经修改的荧光图像KSR。然后，借助于根据OTSU的阈值方法，在步骤S72中基于来自图8的图像KSR来获得来自图9的二值图像。然后，借助于方法“Satoshi Suzuki等人,Topological structural analysis of digitizedbinary images by border following.Computer Vision,Graphics,and ImageProcessing,30(1):32-46,1985”来后处理该来自图9的二值图像，以便找到在图像BSR中的相关轮廓。进一步地，然后在步骤S73中借助于来自数据库OpenCV(https://opencv.org)的“Structural analysis and shape descriptors”这一章节的函数boundingRect来后处理所谓的包围盒(bounding box)。在这种情况下，所述包围盒具有150×150像素的尺寸。对于CLAHE方法，可以使用尺寸为64×64像素的矩形区域。然后由此产生包围盒作为第一分图像区域ETB，如在图5中所呈现的。
优选地，可以就其质量来评价来自图3的荧光图像SR，这是通过下述方式来进行的：在查明在来自图9的图像BSR中的轮廓后，至少十个经识别的细胞区域或第二分图像必须具有确定的形态以及一定的最小尺寸。只有在至少十个细胞满足这两个标准的情况下，才在所述方法中进行所述荧光图像的进一步处理，而没有错误输出。如果少于十个经识别的细胞区域或第二分图像未满足这两个标准，那么优选地中止该方法并输出错误消息。
图16a图解说明了用于基于多个第二分图像区域ZTB1、…、ZTBN来确定总结合度GBM(如前面所阐述的)的卷积神经网络CNN的不同处理层面P1、P2、P3、P4。在这种情况下，CNN分开处理各个第二分图像区域ZTB1、ZTB2、…、ZTBN，以便然后对于各个第二分图像区域ZTB1、ZTB2、…、ZTBN生成各个独个结合度IBM1、IBM2、…、IBMN，如前面关于图14a所解释清楚的。
在这种情况下，图16a显示，在所述对于每个单个第二分图像ZTB1、…、ZTBN确定各个独个结合度的过程中，然后生成各个最终特征图FFM1以及优选地生成另外的最终特征图FFM2。CNN可以被配置为使得仅安排和生成唯一通道的唯一最终特征图FFM1。
因此，对于第二分图像ZTB，来自图16a的处理层面P3的结果是最终特征图FFM1以及优选地最终特征图FFM2。对于来自图10a的第二分图像ZTB，第一最终特征图FFM1呈现在图10b中。对于第二分图像ZTB的第二最终特征图FFM2呈现在图10c中。
CNN解决了所谓的“单标记分类”的任务，即在所述第二分图像中动基体是否具有染色。最终特征图FFM1代表与“单标记分类”的肯定决策有关的在第一分类通道中的激活，即动基体区域被染色。优选地待安排的最终特征图FFM2代表与否定决策有关的与之相应的激活，即动基体基本上未被染色。
按照图17，然后基于第一最终特征图FFM1以及优选地第二最终特征图FFM2，与动基体区域的染色或与在第二分图像ZTB的相应动基体区域K中自身抗体的结合的存在有关地，确定正置信度PK。优选地，于第一最终特征图FFM1以及优选地第二最终特征图FFM2，与动基体区域的染色或与在第二分图像ZTB的相应动基体区域K中自身抗体的结合的存在有关地，确定负置信度NK。
优选地，可以仅基于所述第一最终特征图来对于各个第二分图像ZTB确定与在各个动基体区域中自身抗体的结合的存在有关的置信度，而不必使用第二最终特征图FFM2。然后，可以例如在步骤S20中将特征图FFM1输送至所谓的最大池化(max pooling)，其对于最终特征图FFM1查明最大像素值作为单个标量值。优选地，可以将该标量值用作所述置信度。优选地，然后可以基于该标量值，例如借助于所谓的S形函数(Sigmoid Funktion)，查明作为所述置信度的值。优选地，然后可以基于该标量值，例如借助于所谓的修正线性单元激活函数(Rectified Linear Unit Activation Funktion)，查明作为所述置信度的值。
优选地，将各个特征图FFM1、FFM2这两者在各个步骤S20中各自输送至所谓的最大池化，其各自对于各个最终特征图查明最大像素值作为各个单个标量值。然后，基于该标量值，可以在所谓的Softmax函数中在步骤S21中，与在所述动基体区域中自身抗体的结合的存在有关或与所述动基体区域的染色有关地，确定正概率PK作为所述置信度。同样地，可以通过Softmax函数来确定负概率NK。优选地，正概率PK和负概率NK相加形成值为1的和。因此，以这种方式，对于各个第二分图像ZTB，然后可以通过查明第一最终特征图FFM1和优选地还查明第二最终特征图FFM2，按照图17确定与在所述第二分图像的动基体区域中自身抗体的结合的存在有关的各个置信度。
对于Softmax函数来说备选的函数为例如S形函数、修正线性单元激活函数或泄漏修正线性单元激活函数(Leaky Rectified Linear Unit Activation Funktion)。
图18显示了用于基于对于所述第二分图像的各个正置信度来选取来自所述第二荧光图像的所述第二分图像的子集的步骤。在步骤S30中，N个不同的第二分图像的具有索引1、…、N的正置信度PK1、PK2、PK3、...、PKN关于它们的数值以递增顺序排序。示例性地，对于29个不同的绿蝇短膜虫细胞或对于29个来自第二荧光图像的不同的第二分图像，图28显示了各个相关的正置信度PK，它们关于其值PKW以递增的数值通过相应的排序索引1、…、29绘制出来。然后，在步骤S31中，选取其相关的置信度值为最高置信度值PKW的50％的那些置信度以及其各自与之相关的第二分图像。然后，通过借助于数据组ID输出相应的分图像索引来输出或指示与之相关的第二分图像的该子集。然后，依靠来自数据组ID的索引，可以选取相应的第二分图像及其相关的结合度以用于确定总结合度。
然后，基于属于所选取的第二分图像的那些结合度来确定所述总结合度。总结合度的这样的查明特别地发生在卷积神经网络的第四处理层面P4之内的后处理PP的步骤之中，如在图16a中所呈现的。
图19再一次显示了通过卷积神经网络CNN对于单个第二分图像ZTB1的示例性的处理。首先，由卷积神经网络的前三个处理层面P1至P3处理第二分图像ZTB1，从而提供最终特征图FFM1和优选地还有第二最终特征图FFM2。然后，在选取步骤SEL中，基于关于图17和18所阐明的索引数据ID，将第二分图像ZTB1潜在地选取到第二分图像的子集中。如果已将分图像ZTB1选取到该子集中，那么然后在第四处理层面P4中进行进一步处理作为后处理PP。在此，在确定了正置信度后和在选取了第二分图像的子集后，然后进行所选取的各个第二分图像的各个第一特征图的各自后处理。因此，示例性地，在此对于独个第二分图像ZTB1，显示了用于确定独个结合度IBM1的后处理PP。在这种情况下，对于第二分图像ZTB1，基于最终特征图FFM1来选择各个子图像。所述子图像展示出了在所述第二分图像中的相应的绿蝇短膜虫细胞的各个动基体区域。在图10a中示例性地呈现了这样的第二分图像ZTB。然后，在步骤KIN中，借助于三次插值(cubic interpolation)，将来自图10b的相关的第一特征图FFM1在其尺寸和分辨率方面适配至来自图10a的第二分图像ZTB，从而产生来自图11a的经放大的特征图VFM。
然后，在阈值步骤SB中，查明二值掩模BM，其呈现在图11中。在这种情况下，优选地采用其是特征图的最大可能灰度值强度的一半的那个值作为阈值。因此，如果特征图VFM的灰度值在值0和1之间，那么就采用值0.5作为阈值。
然后，在步骤MS中，将来自图11b的掩模算子BM应用至第二分图像ZTB，从而产生来自图11c的相应的子图像SUB。因此，所提出的卷积神经网络能够为每个各个第二分图像ZTB提供最终特征图FFM1，其借助于其值来指示关于所述第二分图像的相应于所述动基体的子图像区域。因此，所述卷积神经网络能够从所述第二分图像中剪切或选择出相应的子图像，其然后可以被用于确定自身抗体与在动基体上的双链DNA的结合的结合度。
根据图19，然后在确定步骤BS中确定关于第二分图像ZTB1的结合度IBM1。这通过下述方式来进行：观察来自子图像SUB的像素值，并且选择定义了关于来自所述子图像的像素值的90％分位数的那个值。为此，对于来自图11c的子图像SUB的像素，图27显示了以递增的尺寸的相应的像素值PW，具有相应的排序索引PN。对于索引QN，值QW为那个值，对于所述值来说90％的来自子图像SUB的像素值小于值QW。
然后，在之后紧接着的步骤中，基于来自所选取的子集的独个第二分图像的多个独个结合度IBM1、IBM2、…来确定总结合度GBM。
对于来自图12a的第二分图像，图12b显示了所指出的区域IND，其大概地指出来自图11c的子图像SUB的区域。可以清楚地看到，由卷积神经网络对于子图像区域的选取在此成功地识别出动基体。
图16a显示了具有多个处理层面P1、P2、P3、P4的卷积神经网络CNN的示例性实施方案。
在第一处理层面P1中，借助于至少一个第一卷积层LA1和借助于应用多个二维卷积核，基于第二分图像ZTB，CNN生成第一集合的二维的所得的特征图RFM1。这些特征图RFM1不必直接产生自卷积层LA1，而是可以借助于进一步的处理步骤PS2、PS3、PSC来生成。
在卷积层LA1中，在具有一系列不同的分步骤的步骤PS1中进行处理。步骤PS1是步骤PSA的那种类型的，其详细呈现在图16b中。首先，借助于各个二维卷积，用多个卷积核进行所进入的第二分图像的二维卷积CONV2D。在步骤BN中进行随后的批量标准化(BatchNormalization)。然后，在步骤ACT中进行所谓的激活。
在本申请的范围内，卷积层具有用于将一个或多个特征图与一个或多个卷积核进行卷积的层。那么优选地，这样的用于卷积的层在所述卷积层内可以跟随有批量标准化的层和/或激活的层。
然后，在来自图16a的第二处理层面P2中，借助于至少一个第二卷积层LA2和借助于应用多个三维卷积核，基于所述第一集合的特征图RFM1，生成第二集合的二维的所得的特征图RFM2。
然后，借助于至少一个第三卷积层LA3和借助于应用多个三维卷积核，基于第二集合RFM2，生成第三集合的二维的所得的特征图RFM3。该第三集合RFM3直接地或间接地进入第三层面P3的进一步的处理。在所述第三层面中，借助于另外的卷积层LAX，基于第三集合RFM3，确定第一最终特征图FFM1以及优选地第二最终特征图FFM2。
第二集合RFM2具有比第一集合RFM1更少数目的特征图。此外，第三集合RFM3具有比第二集合RFM2更多数目的所得的特征图。卷积核也可以称为卷积算子。
通过减少在第二卷积层LA2中的特征图的数目，进行所谓的压缩(squeezing)。将第一集合的特征图RFM1或其特征借助于所述卷积核投射到子空间中，这是因为所述三维卷积核对于特征图之间的特征相互关系作出反应。因此，仅保留来自第一集合的特征图RFM1的最占优势的特征并且投射到第二集合的特征图RFM2之中。因此，借此将优势较低和意义不太大的特征滤出。
通过由第三卷积层LA3从第二集合RFM2至第三集合RFM3增加了特征图的数目，将前面减少的特征或信息分配至不同的特征空间和不同的特征图，其中可以根据在第三卷积层LA3中所使用的三维卷积核的自由度来不同地组合所述特征。这相应于所谓的扩展。
在第一处理层面P1中，第一卷积层LA1可以跟随有另一个卷积层LA11。该层LA11使用在层LA1中建立的特征图。优选地，层LA11具有相互并行地布置的处理步骤PS2、PS3。这些处理步骤PS2、PS3各自是来自图16C的处理步骤PSB的类型的。在步骤PSB的分步骤CONV3D中，进行所述特征图与各个三维卷积核的三维卷积。然后，在另一个分步骤BN中，进行所谓的批量标准化。进一步地，在步骤ACT中，进行所谓的激活。
然后，在链接(concatenation)步骤PSC中，将从层LA11的步骤PS2以及PS3所产生出的特征图相互链接；换言之，将所述特征图相互串接在一起。
优选地，在第一处理层面P1中，进一步地在步骤PS4中用二维卷积核进行第二分图像ZTB的卷积。步骤PS4是来自图16b的分步骤CONV2D的类型的。
优选地，可以以这样的方式将从层LA11和从步骤PS4所产生出的特征图相互连接在一起，从而使得所述特征图的条目各自逐元素地相加在一起。因此，由此不产生特征图的维度的改变，而是将来自层LA11的特征图的单个元素与来自步骤PS4的特征图的单个元素逐元素地相加。
来自第二卷积层LA2的步骤PS5是来自图16c的步骤PSB的类型的。
优选地，以这样的方式在第三卷积层LA3中处理来自卷积层LA2的特征图，从而使得在相应的步骤PS7以及PS8中还有在步骤PSC中，以与来自卷积层11的那些类似的方式处理所述特征图，其中所使用的卷积核的数目和卷积核的维度可以彼此不同。步骤PS7以及PS8是来自图16c的步骤PSB的类型的。然后，通过将来自各个步骤PS7和PS8的各个特征图逐元素地相加，通过步骤PSC生成第三集合的特征图RFM3。
在第二处理层面P2中，第二卷积层LA2和第三卷积层LA3作为顺次处理路径PF1的分步骤互相相随。在第二处理层面P2中，还与顺次处理路径PF1并行地存在另一条处理路径PF2，在该处理路径中CNN借助于至少一个第四卷积层LA4和借助于应用多个三维卷积核基于第一集合RFM1来生成第四集合RFM4的二维的所得的特征图。这通过步骤PS6来进行，步骤PS6是来自图16c的分步骤CONV3D的类型的。
然后，进而借助于步骤PSS，从第三集合RFM3的特征图和第四集合RFM4的特征图，生成通过步骤PSS在处理层面P2中确定的特征图集合RFM5。然后，可以在第三处理层面P3中使用该集合的特征图RFM5，以便借助于进一步的步骤LAX(其在后面还会更详细阐明)来生成第一最终特征图FFM1和优选地第二最终特征图FFM2。
然后，在一个进一步的处理层面PS4中，进行所谓的后处理，如在图19中所详细阐明的。
因此，CNN基于第三集合RFM3的特征图和基于第四集合RFM4的特征图来生成相应于第二分图像ZTB的最终特征图FFM1。在这种情况下，在并行处理路径PF2中的相继卷积层LA4的数目比在顺次处理路PF1中的相继卷积层LA2、LA3的数目少。因此，并行处理路径PF2具有比顺次路径PF1更少的卷积层。由此在卷积神经网络的训练的过程中可能的是，在反向传播的过程中重新计算卷积核的单个权重的情况下，避免或减少了所谓的“梯度消失(Vanishing Gradient)”的问题。
如前面关于图16a所阐述的，CNN可以由四个处理层面组成。
对此，图23显示了第一处理层面P1的详细实施方案，其相应于来自图16a的第一处理层面P1。
对于每个单个步骤，详细地指定以第二分图像或特征图集合的形式的输入变量的维度。在这种情况下，对于每个单个步骤，可以在最上面一行“输入”中在接着的括号中通过第二和第三条目，获知所述输入变量的维度。例如，第二分图像数据ZTB1具有150×150像素的维度。对于数据ZTB1，仅存在唯一的输入变量，其在括号中在第四或最后一个条目中由元素“1”指出。在其值范围方面，优选地将图像数据ZTB1标准化为0至1的值范围。
然后例如，在步骤PS中，以这样的方式用卷积核处理该输入变量ZTB1，从而使得产生75×75像素的维度的特征图。在这种情况下，在最下面一行“输出”中的最后的条目指出所得的特征图集合的所生成的特征图的数目。由此，对于每个处理步骤，本领域技术人员因此可以从在此所指定的参数清楚地得出必须将多少卷积核应用于所进入的数据ZTB1或所进入的特征图以便达到确定数目的出来的特征图。在步骤PS4的例子中，这是64个卷积核。此外，本领域技术人员可以根据所进入的特征图的指定维度和所出来的特征图的指定维度得出必须以什么程度着手进行变化了确定数目的像素的所谓的“跨步(Striding)”，即在用卷积核对特征图进行卷积期间的移动。在步骤PS4的例子中，这是值为2的跨步。
通过来自图23的陈述向本领域技术人员给予了用于配置CNN的处理层面P1的清楚的指导。
图24显示了来自图16a的处理层面P2的第一部分P21。在这种情况下，分处理层面P21的结构基本上相应于来自图16a的处理层面P2。另外，在此还为训练阶段安排了所谓的“漏失(Dropout)”的步骤，在该步骤中在训练期间，而不是在测试阶段中的实际分类期间，将特征图的单个条目在其像素值方面设置至值“0”(零)。在这种情况下，“漏失因子(dropfactor)”优选地为50％的值，从而使得一半的像素值被设置为零。通过借助于随机函数选取其索引来随机地选择像素值。
然后，在分处理层面P21中产生特征图集合RFM5，如前面在图16a中在处理层面P2中所显示的。
优选地，CNN可以具有另一个分处理层面P22，其在前面在图16a中未呈现。在这种情况下，进一步处理特征图集合RFM5以生成经修改的特征图集合RFM51。
同样在此，在图25中包含对于本领域技术人员的精确的陈述，关于以何种方式生成该经修改的特征图集合RFM51。同样在此，在训练阶段而不是测试阶段期间进行所谓的漏失DRO。
图26显示了用于生成第一最终特征图FFM1以及优选地第二最终特征图FFM2的第三处理层面P3的一个实施方案。基于第三集合的特征图RFM3和第四集合的特征图RFM4间接地生成特征图FFM1以及优选地特征图FFM2。在这种情况下，前面在图16a中所呈现的处理步骤LAX具有分步骤。在第一分步骤SEPC中进行所进入的特征图RFM51的所谓的“深度卷积(depthwise convolution)”，其中将来自集合RFM51的每个单个二维特征图各自分开地用二维卷积核进行卷积，由此产生二维特征图集合RFM511。然后，紧接着在另一个分步骤CONV3D中，用维度为1×1×G的三维卷积核进行从步骤SEPC产生的集合RFM511的多个二维特征图的卷积，其中G为该集合的特征图的数目，从而由此确定第一最终特征图FFM1。优选地，进一步地在另一个分步骤CONV3D中还用另一个维度为1×1×G的三维卷积核进行从步骤SEPC产生的集合RFM511的多个二维特征图的另外的卷积，其中G为该集合的特征图的数目，从而由此确定第二最终特征图FFM2。
然后，在来自图26的第三处理层面P3之后接着为所谓的后处理PP，如在图16a中在处理层面P4中所暗示的和如在图19中所详细阐明的。
为了实施在本文中所提出的卷积神经网络的一个或多个实施实例，本领域技术人员可以动用名为“Keras”的所谓的开源深度学习文库。本领域技术人员可在https://keras.io下找到详细信息。为了试验目的，借助于所谓的开源深度学习文库“Keras”来建立所提出的具有来自图23至26的处理层面P1、P21、P22和P3以及处理层面P4的CNN的实施方案，如在图19中所详细地图解说明的。使用两个荧光图像数据组。第一个荧光图像数据组是这样的，其中已知用于进行温育的患者样品具有自身抗体并且因此在荧光图像中动基体区域具有相关的染色。第二个荧光图像数据组是这样的，其中已知用于进行温育的患者样品不具有自身抗体并且因此在荧光图像中动基体区域不具有相关的染色。
然后，借助于以在本文中所详细描述的方式预处理第一个荧光图像数据组，从相应的第一荧光图像中确定了总共大约23,000个第一分图像和因此还有所述第二荧光图像的大约23,000个相应的第二分图像，对于它们恰好存在有来自患者样品的自身抗体与在动基体区域中的dsDNA的结合，从而所述动基体区域具有显著的染色并且因此必须作出肯定的分类决策。
然后，借助于以在本文中所详细描述的方式预处理第二个荧光图像数据组，从相应的第一荧光图像中确定了总共大约23,000个第一分图像和因此还有所述第二荧光图像的大约23,000个相应的第二分图像，对于它们恰好不存在有来自患者样品的自身抗体与在动基体区域中的dsDNA的结合，从而所述动基体区域没有显著的染色并且因此必须作出否定的分类决策。
从大约23,000个待判定为肯定的第二分图像中使用大约18,000个第二分图像用于CNN的训练阶段。其他的大约5,000个肯定的第二分图像用于测试阶段。从大约23,000个待判定为否定的第二分图像中使用大约18,000个用于CNN的训练阶段。其他的大约5,000个否定的第二分图像用于测试阶段。
通过使用1e-3的学习率以100代(Epoch)来训练CNN。
关于对于在测试阶段中借助于CNN依靠置信度PK和NK是否将来自10,000个第二分图像的一个第二分图像正确地判定为肯定或否定所作出的决策，得出95.7％的灵敏度和98.1％的特异性。
图29显示了方法步骤V10，通过该方法步骤借助于至少一个第一临时荧光图像来确定所述第一颜色通道的所述第一荧光图像。
通过使用预先规定的采集参数GF(其优选地为用于按比例缩放所采集的灰度值的增益参数)来在所述第一颜色通道中采集第一临时荧光图像EVFB1。然后，在步骤S101中，关于第一临时荧光图像EVFB1的像素值制作直方图。然后，借助于所述直方图将阈值确定为灰度值，其被应用于第一临时荧光图像EVFB1的像素值。在这种情况下，可以例如首先确定所述直方图的峰值，然后确定属于所述峰值的灰度值。然后，优选地，可以将该灰度值增加五个像素值的预先规定的值，以便如此确定所述阈值。然后，将低于该阈值的图像EVFB1的像素值分类为背景并且不进入经修改的第一临时荧光图像EVFB1'中。然后，经修改的第一临时荧光图像EVFB1'代表超过预先确定的阈值的那些像素值。
然后，基于图像EVFB1'的这些像素值，在步骤S102中关于这些像素值形成平均值，以便确定亮度值HW。
然后，在步骤S103中依照亮度值HW来修改采集参数GF，以便确定经修改的采集参数GF2。在这种情况下，优选地，将预先规定的参数值(例如，对于0至255的量化范围的值为55的目标灰度值)除以亮度值HW，然后乘以前面预先规定的采集参数GF，按照GF2＝(55/HW)×GF。由此，因而进行通过亮度值HW对于预先规定的采集参数GF的按比例缩放以确定经修改的采集参数GF2。该采集参数优选地恰好是经修改的增益参数GF2。
然后，通过使用经修改的采集参数GF2，在步骤S104中采集第二临时荧光图像ZVFB1，然后用作第一颜色通道的第一荧光图像SR，参见图3。
图30显示了来自图29的方法V10的变化形式V11。来自图30的方法V11具有另外的步骤S110，在该步骤中检查第一临时荧光图像EVFB1的亮度值是否符合所期望的亮度值EHW。例如，对于示例性的灰度值的0至255的量化范围，如果亮度值HW落在45至60的区间中，那么它符合所期望的亮度值EHW。那么，在该情况下，从步骤S110分支向输出第一临时荧光图像EVFB1，从而使用该图像EVFB1作为第一颜色通道的第一荧光图像SR，参见图3。
如果亮度值HW不符合所期望的亮度值，那么在步骤S103中依照前面所确定的亮度值HW来确定经修改的采集参数GF2。优选地，在亮度值HW落在30至45的值范围中的情况下，可以将经修改的采集参数GF2确定为以因子1.75按比例缩放的采集参数GF，按照GF2＝1.75×GF。优选地，在亮度值HW落在60至70的值范围中的情况下，可以将经修改的采集参数GF2确定为以因子0.625按比例缩放的采集参数GF，按照GF2＝0.625×GF。
可以将相应的值范围的边界值和相应的按比例缩放因子作为默认数据VD来提供。
然后，在步骤S104中通过使用经修改的采集参数GF2来采集第二临时荧光图像ZVFB1。然后，使用第二临时荧光图像ZVFB1作为第一颜色通道的第一荧光图像SR，参见图3。
图31显示了方法V20，其中优选地施行用于采集所述第二颜色通道的所述第二荧光图像的待施行的步骤。
在步骤S200中，借助于至少一个预先规定的采集参数EP1(其优选地为增益参数)来在所述第二颜色通道中采集第一临时荧光图像EVFB2。
然后，在步骤S201中，关于图像EVFB2的像素值形成直方图，从而查明并且提供直方图数据HD。
然后，在步骤S202中，确认在亮度方面超过确定的饱和度的像素的数目有多高。例如，对于示例性的0至255的像素值的量化范围，确认多少像素具有255的像素值或灰度值。提供在所述亮度-饱和度内的该像素数目作为数据AS。
然后，在步骤S203中检查在饱和度范围内的像素数目AS是否超过预先规定的阈值TH。如果没有超过阈值(参见分支“N”)，那么就使用第二颜色通道的第一临时荧光图像EVFB2作为第二颜色通道的第二荧光图像SG，参见图4。如果在所述饱和度内的像素数目超过阈值TH(参见分支“J”)，那么在步骤S204中通过使用至少一个第二预先规定的采集参数EP2来在所述第二颜色通道中采集第二临时荧光图像ZVFB2。预先规定的采集参数EP2不同于前面预先规定的第一采集参数EP1。优选地，采集参数EP2为增益参数并且比第一采集参数EP1小，从而图像ZVFB2比图像EVFB2曝光弱。然后，使用所采集的第二临时荧光图像EVFB2作为第二颜色通道的第二荧光图像SG，参见图4。优选地，还提供指示数据，其指示第一临时荧光图像EVFB2的亮度已超过最大亮度，并且第二荧光图像SG为以降低的亮度采集的第二颜色通道的第二临时荧光图像ZVFB2。
然后，可以在所提出的方法中以通常的方式使用第二颜色通道的第二临时荧光图像EVFB2作为第二颜色通道的第二荧光图像SG。在这种情况下，优选地，CNN借助于置信度PK来查明，对于最少数目的第二分图像区域(优选地，至少十个第二分图像区域)，是否存在动基体区域的染色。如果情况正是如此，那么CNN输出最大亮度或最大亮度值(优选地，255)作为总结合度。如果CNN确认动基体区域并未真正被染色，那么就将第二颜色通道的第二荧光图像SG评价为总体否定的。
虽然与装置相关地描述了一些方面，但是应当理解，这些方面也是相应的方法的描述，从而设备的模块或组件也被理解为相应的方法步骤或方法步骤的特征。与此类似，关于方法步骤或作为方法步骤进行描述的方面也是相应装置的相应模块或细节或特征的描述。
根据特定的实施要求，本发明的实施实例可以将计算单元R或数据网络装置转化为硬件和/或软件。在此提到的计算单元R的转化在此可以作为至少一个计算单元或者通过多个相联合的计算单元来实现。所述实施可以通过使用在其上存储以电子方式可读的控制信号的数字存储介质(例如软盘、DVD、蓝光光盘、CD、ROM、PROM、EPROM、EEPROM或FLASH-存储器、硬盘或者其他磁性或光学存储装置)来进行，所述控制信号与或者可以与可编程硬件组件交互，从而施行各个方法。
可编程的硬件组件可以作为计算单元由处理器、计算机处理器(CPU＝中央处理单元)、计算机、计算机系统、专用集成电路(ASIC)、集成电路(IC)、芯片上系统(SOC)、可编程逻辑元件或具有微处理器的现场可编程门阵列(FPGA)来形成。
因此，所述数字存储介质可以是机器可读或计算机可读的。因此，一些实施实例包括具有以电子方式可读的控制信号的数据载体，所述控制信号能够与可编程计算机系统或可编程硬件组件交互，从而施行在本文中所描述的方法之一。
通常，本发明的实施实例或实施实例的一部分可以作为具有程序代码的程序、固件、计算机程序或计算机程序产品或者作为数据来实施，其中当所述程序在处理器或可编程硬件组件上运行时，所述程序代码或所述数据对于施行所述方法之一或方法的一部分来说是有效的。

Claims (16)

1.一种用于借助于荧光显微术和借助于数字图像处理通过使用绿蝇短膜虫(Crithidia luciliae)细胞来检测患者样品的自身抗体与双链脱氧核糖核酸的结合的方法，所述方法包括：
-提供基材(S)，其具有多个绿蝇短膜虫细胞(CR)，
-将所述基材(S)与潜在地具有所述自身抗体的患者样品一起进行温育，
-将所述基材(S)与第一荧光染料一起进行温育，
-将所述基材(S)与二抗一起进行温育，所述二抗各自用第二荧光染料进行标记，
-在相应于所述第一荧光染料的第一颜色通道中采集所述基材(S)的第一荧光图像(SR)，
-在相应于所述第二荧光染料的第二颜色通道中采集所述基材(S)的第二荧光图像(SG)，
其特征在于，
-识别在所述第一荧光图像(SR)中的各个第一分图像(ETB)，其各自代表一个绿蝇短膜虫细胞(CR)，
-确定所述第二荧光图像(SG)的各个第二分图像(ZTB)，其相应于所述第一荧光图像(SR)的所述各个第一分图像(ETB)，
-借助于经预训练的卷积神经网络(CNN)分别处理所述各个第二分图像(ZTB)的至少一个子集以确定各个结合度(IBM1、IBM2)，其指示在各个第二分图像(ZTB)的各个绿蝇短膜虫细胞(CR)的各个动基体区域(K)中的自身抗体的各个结合程度，
-基于所述各个结合度(IBM1、IBM2)来确定与患者样品的自身抗体与双链脱氧核糖核酸的结合有关的总结合度(GBM)。
2.根据权利要求1的方法，所述方法包括，对于各个第二分图像(ZTB)，
-选择所述各个第二分图像(ZTB)的各个子图像(SUB)，其中所述各个子图像(SUB)代表各个绿蝇短膜虫细胞(CR)的各个动基体区域(K)，
-基于所述各个子图像(SUB)来确定所述各个结合度(IBM1)，
以及还包括基于所述各个结合度(IBM1、IBM2)来确定所述总结合度(GBM)。
3.根据权利要求1的方法，所述方法包括：
-借助于卷积神经网络(CNN)来对于各个第二分图像(ZTB)确定各个最终特征图(FFM1)，
-对于所述各个第二分图像(ZTB)确定与在各个动基体区域(K)中自身抗体的结合的存在有关的各个置信度(PKN)，
-基于所确定的置信度(PKN)来选取所述第二分图像(ZTB)的子集，
-分别处理各个所选取的第二分图像的各个特征图以确定所述各个结合度(IBM1、IBM2)，
-基于各个所选取的第二分图像的各个结合度(IBM1、IBM2)来确定所述总结合度(GBM)。
4.根据权利要求3的方法，所述方法包括，对于来自所选取的子集的各个第二分图像(ZTB)，
-基于相应于所述各个第二分图像(ZTB)的各个最终特征图(FFM1)来选择所述各个第二分图像(ZTB)的各个子图像(SUB)，其中所述各个子图像(SUB)代表各个绿蝇短膜虫(CR)的各个动基体区域(K)，
-基于所述各个子图像(SUB)来确定所述各个结合度(IBM1)，
以及还包括
-基于所述各个结合度(IBM1、IBM2)来确定所述总结合度(GBM)。
5.根据权利要求4的方法，所述方法包括，对于来自所选取的子集的各个第二分图像(ZTB)，
-基于所述各个最终特征图(FFM1)来查明各个掩模算子(BM)，
-借助于对于所述各个第二分图像(ZTB)应用所述各个掩模算子(BM)来选择所述各个第二分图像(ZTB)的各个子图像(SUB)，
-基于所述各个子图像(SUB)来确定所述各个结合度(IBM1)，
以及包括
-基于所述各个结合度(IBM1、IBM2)来确定所述总结合度(GBM)。
6.根据权利要求3的方法，其中在处理第二分图像(ZTB)的过程中，所述卷积神经网络(CNN)
-在第一处理层面(P1)中，借助于至少一个第一卷积层(LA1)和借助于应用多个二维卷积核，基于所述第二分图像(ZTB)，生成第一集合的所得的特征图(RFM1)，
-在第二处理层面(P2)中，
○借助于至少一个第二卷积层(LA2)和借助于应用多个三维卷积核，基于所述第一集合的二维特征图(RFM1)，生成第二集合的所得的特征图(RFM2)，
○以及还借助于至少一个第三卷积层(LA3)和借助于应用多个三维卷积核，基于所述第二集合的二维特征图(RFM2)，生成第三集合的所得的特征图(RFM3)，
其中所述第二集合(RFM2)具有比所述第一集合(RFM1)更少数目的所得的特征图，和其中所述第三集合(RFM3)具有比所述第二集合(RFM2)更多数目的所得的特征图。
7.根据权利要求6的方法，
其中，在所述第二处理层面(P2)中，所述第二卷积层(LA2)和所述第三卷积层(LA3)作为顺次处理路径(PF1)的分步骤互相相随，
其中，在所述第二处理层面(P2)中，与所述顺次处理路径(PF1)并行地存在另一条处理路径(PF2)，在该处理路径中所述卷积神经网络(CNN)借助于至少一个第四卷积层(LA4)基于所述第一集合(RFM1)的二维特征图来生成第四集合(RFM4)的所得的特征图，
其中，所述卷积神经网络(CNN)基于所述第三集合(RFM3)和所述第四集合(RFM4)的所得的特征图来生成相应于所述第二分图像(ZTB)的最终特征图(FFM1)，和
其中，在所述并行处理路径(PF2)中的相继卷积层的数目比在所述顺次处理路径(PF1)中的相继卷积层的数目少。
8.根据权利要求1的方法，所述方法包括
-通过使用预先规定的采集参数(GF)来在所述第一颜色通道中采集第一临时荧光图像(EVFB1)，
-确定亮度值(HW)，其指示所述第一颜色通道的所述第一临时荧光图像(EVFB1)的亮度，
-依照所确定的亮度值(HW)来修改采集参数，
-通过使用经修改的采集参数(GF2)来在所述第一颜色通道中采集第二临时荧光图像(ZVFB1)，
-使用所述第一颜色通道的所述第二临时荧光图像(ZVFB1)作为所述第一颜色通道的所述第一荧光图像(SR)。
9.根据权利要求8的方法，所述方法包括
-通过使用预先规定的采集参数(GF)来在所述第一颜色通道中采集第一临时荧光图像(EVFB1)，
-确定亮度值(HW)，其指示所述第一颜色通道的所述第一临时荧光图像(EVFB1)的亮度，
-借助于所述亮度值(HW)来确认所述第一颜色通道的所述第一临时荧光图像(EVFB1)的亮度是否符合所期望的亮度，
-在所述第一颜色通道的所述第一临时荧光图像(EVFB1)的亮度符合所期望的亮度的情况下，使用所述第一颜色通道的所述第一临时荧光图像(EVFB1)作为所述第一颜色通道的所述第一荧光图像(SR)，
-在所述第一颜色通道的所述第一临时荧光图像(EVFB1)的亮度不符合所期望的亮度的情况下，
○依照所确定的亮度值(HW)来修改采集参数，
○通过使用经修改的采集参数(GF2)来在所述第一颜色通道中采集第二临时荧光图像(ZVFB1)，
○使用所述第一颜色通道的所述第二临时荧光图像(ZVFB1)作为所述第一颜色通道的所述第一荧光图像(SR)。
10.根据权利要求1的方法，所述方法包括
-通过使用预先规定的采集参数(EP1)来在所述第二颜色通道中采集第一临时荧光图像(EVFB2)，
-确认所述第二颜色通道的所述第一临时荧光图像(EVFB2)的亮度是否超过最大亮度，
-在所述第二颜色通道的所述第一临时荧光图像(EVFB2)不超过最大亮度的情况下，使用所述第一临时荧光图像(EVFB2)作为所述第二颜色通道的所述第二荧光图像(SG)，
-在所述第二颜色通道的所述第一临时荧光图像(EVFB2)超过最大亮度的情况下，在所述第二颜色通道中采集第二临时荧光图像(ZVFB2)并且使用所述第二颜色通道的所述第二临时荧光图像(ZVFB2)作为所述第二颜色通道的所述第二荧光图像(SG)。
11.一种用于借助于荧光显微术和借助于数字图像处理通过使用绿蝇短膜虫细胞来检测患者样品的自身抗体与双链脱氧核糖核酸的结合的装置(V1)，所述装置包含
-用于基材(S)的支承装置(H)，所述基材具有多个绿蝇短膜虫细胞(CR)并且与具有所述自身抗体的患者样品、与第一荧光染料以及还与二抗一起进行温育，所述二抗各自用第二荧光染料进行标记，
-至少一个图像采集单元(K1、K2)，其用于在第一颜色通道中采集所述基材(S)的第一荧光图像(SR)以及还用于在第二颜色通道中采集所述基材(S)的第二荧光图像(SG)，
以及还包含至少一个计算单元(R)，其被设计成用于
-识别在所述第一荧光图像(SR)中的各个第一分图像(ETB)，其各自代表至少一个绿蝇短膜虫细胞(CR)，
-确定所述第二荧光图像(SG)的各个第二分图像(ZTB)，其相应于所述第一荧光图像(SR)的所述各个第一分图像(ETB)，
-借助于经预训练的卷积神经网络(CNN)分别处理所述各个第二分图像(ZTB)的至少一个子集以确定各个结合度(IBM1、IBM2)，其指示在各个第二分图像(ZTB)的各个绿蝇短膜虫细胞(CR)的各个动基体区域(K)中的自身抗体的各个结合程度，和
-基于所述各个结合度(IBM1、IBM2)来确定患者样品的自身抗体与双链脱氧核糖核酸的结合的总结合度(GBM)。
12.一种计算单元(R)，其被设计成用于在数字图像处理的过程中，
-接收第一荧光图像(SG)，所述第一荧光图像代表由第一荧光染料对于具有多个绿蝇短膜虫细胞(CR)的基材的染色，以及接收第二荧光图像(SG)，所述第二荧光图像代表由第二荧光染料对于所述基材的染色，
-识别在所述第一荧光图像(SR)中的各个第一分图像(ETB)，其各自代表至少一个绿蝇短膜虫细胞(CR)，
-确定所述第二荧光图像(SG)的各个第二分图像(ZTB)，其相应于所述第一荧光图像(SR)的所述各个第一分图像(ETB)，
-借助于经预训练的卷积神经网络(CNN)分别处理所述各个第二分图像(ZTB)的至少一个子集以确定各个结合度(IBM1、IBM2)，其指示在各个第二分图像(ZTB)的各个绿蝇短膜虫细胞(CR)的各个动基体区域(K)中的自身抗体的各个结合程度，以及
-基于所述各个结合度(IBM1、IBM2)来确定患者样品的自身抗体与双链脱氧核糖核酸的结合的总结合度(GBM)。
13.一种数据网络装置(DV)，其包含：
至少一个数据接口(DS4)，其用于接收第一荧光图像(BI1，SR)，所述第一荧光图像代表由第一荧光染料对于具有多个绿蝇短膜虫细胞的基材的染色，以及还用于接收第二荧光图像(BI2，SG)，所述第二荧光图像代表由第二荧光染料对于所述基材的染色，
以及还包含至少一个计算单元(R)，其被设计成用于在数字图像处理的过程中，
-识别在所述第一荧光图像(SR)中的各个第一分图像(ETB)，其各自具有至少一个绿蝇短膜虫细胞(CR)，
-确定所述第二荧光图像(SG)的各个第二分图像(ZTB)，其相应于所述第一荧光图像(SR)的所述各个第一分图像(ETB)，
-借助于经预训练的卷积神经网络(CNN)分别处理所述各个第二分图像(ZTB)的至少一个子集以确定各个结合度(IBM1、IBM2)，其指示在各个第二分图像(ZTB)的各个绿蝇短膜虫细胞(CR)的各个动基体区域(K)中的自身抗体的各个结合程度，以及
-基于所述各个结合度(IBM1、IBM2)来确定患者样品的自身抗体与双链脱氧核糖核酸的结合的总结合度(GBM)。
14.一种用于数字图像处理的方法，所述方法包括
-接收第一荧光图像(SR)，所述第一荧光图像代表由第一荧光染料对于具有多个绿蝇短膜虫细胞(CR)的基材(S)的染色，以及还接收第二荧光图像(SG)，所述第二荧光图像代表由第二荧光染料对于所述基材(S)的染色，
-识别在所述第一荧光图像(SR)中的各个第一分图像(ETB)，其各自代表一个绿蝇短膜虫细胞(CR)，
-确定所述第二荧光图像(SG)的各个第二分图像(ZTB)，其相应于所述第一荧光图像(SR)的所述各个第一分图像(ETB)，
-借助于经预训练的卷积神经网络(CNN)分别处理所述各个第二分图像(ZTB)的至少一个子集以确定各个结合度(IBM1、IBM2)，其指示在各个第二分图像(ZTB)的各个绿蝇短膜虫细胞(CR)的各个动基体区域(K)中的自身抗体的各个结合程度，
-基于所述各个结合度(IBM1、IBM2)来确定患者样品的自身抗体与双链脱氧核糖核酸的结合的总结合度(GBM)。
15.一种计算机程序产品(CPP)，其包含这样的指令，所述指令在由计算机执行所述程序之时使所述计算机施行根据权利要求14的用于数字图像处理的方法。
16.一种数据载体信号(SI2)，其传输根据权利要求15的计算机程序产品(CPP)。
CN202010186748.0A 2019-03-18 2020-03-17 通过使用绿蝇短膜虫细胞和荧光显微术来检测患者样品的抗体与双链dna的结合的方法 Active CN111707828B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19163553.1A EP3712618B1 (de) 2019-03-18 2019-03-18 Verfahren zum detektieren einer bindung von antikörpern einer patientenprobe an doppelsträngige dns unter verwendung von crithidia luciliae zellen und fluoreszenzmikroskopie
EP19163553.1 2019-03-18

Publications (2)

Publication Number Publication Date
CN111707828A true CN111707828A (zh) 2020-09-25
CN111707828B CN111707828B (zh) 2024-06-07

Family

ID=65818385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010186748.0A Active CN111707828B (zh) 2019-03-18 2020-03-17 通过使用绿蝇短膜虫细胞和荧光显微术来检测患者样品的抗体与双链dna的结合的方法

Country Status (3)

Country Link
US (1) US11549889B2 (zh)
EP (1) EP3712618B1 (zh)
CN (1) CN111707828B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114858765A (zh) * 2021-01-19 2022-08-05 欧蒙医学实验诊断股份公司 用于检测不同的抗体荧光图案类型的存在的方法和设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3767587B1 (de) * 2019-07-19 2024-10-23 Euroimmun Medizinische Labordiagnostika AG Detektion von präsenzen unterschiedlicher antinukleärer antikörper-fluoreszenzmustertypen und vorrichtung hierfür
US11487097B1 (en) * 2020-01-26 2022-11-01 Ramona Optics Inc. System and method for synchronized fluorescence capture
EP3876193A1 (de) 2020-03-02 2021-09-08 Euroimmun Medizinische Labordiagnostika AG Bildverarbeitungsverfahren zum anzeigen von zellen mehrerer gesamtbilder
US11953670B2 (en) * 2020-12-09 2024-04-09 Ramona Optics Inc. System and method for rapid focusing and analysis using a micro-camera array microscope
ES2942022T3 (es) * 2020-12-21 2023-05-29 Euroimmun Medizinische Labordiagnostika Ag Procedimiento y dispositivo para detectar la presencia de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia
US11677980B2 (en) * 2021-06-08 2023-06-13 At&T Intellectual Property I, L.P. Image compression and decompression via reconstruction of lower resolution image data
CN113917136A (zh) * 2021-10-18 2022-01-11 北京和杰创新生物医学科技有限公司 抗双链脱氧核糖核酸抗体免疫球蛋白g的检测方法
CN114092329B (zh) * 2021-11-19 2023-01-20 复旦大学 一种基于亚像素神经网络的超分辨荧光显微成像方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1990010229A1 (en) * 1989-02-27 1990-09-07 Biostar Medical Products, Inc. Method and diagnostic test kit for detection of autoimmune antibody
CN108510004A (zh) * 2018-04-04 2018-09-07 深圳大学 一种基于深度残差网络的细胞分类方法及系统
US20180286040A1 (en) * 2017-04-04 2018-10-04 Konica Minolta, Inc. Image processing apparatus, image processing method, and computer-readable non-transitory recording medium storing image processing program
CN112240878A (zh) * 2019-07-19 2021-01-19 欧蒙医学实验诊断股份公司 用于检测不同抗核抗体荧光图案类型的存在的方法和装置
CN114283113A (zh) * 2020-09-17 2022-04-05 欧蒙医学实验诊断股份公司 检测患者样本自身抗体与双链脱氧核糖核酸的结合的方法
CN117808733A (zh) * 2022-09-30 2024-04-02 欧蒙医学实验诊断股份公司 用于探测在免疫荧光图像上存在荧光图案的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI705414B (zh) * 2018-05-29 2020-09-21 長庚醫療財團法人林口長庚紀念醫院 自體免疫抗體免疫螢光影像分類系統及其分類方法
EP3591401A1 (de) 2018-07-06 2020-01-08 Euroimmun Medizinische Labordiagnostika AG Verfahren zum automatisierten detektieren von antikörpern in einer flüssigen biologischen probe unter verwendung eines antigen-chips und antigen-chip hierfür

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1990010229A1 (en) * 1989-02-27 1990-09-07 Biostar Medical Products, Inc. Method and diagnostic test kit for detection of autoimmune antibody
US20180286040A1 (en) * 2017-04-04 2018-10-04 Konica Minolta, Inc. Image processing apparatus, image processing method, and computer-readable non-transitory recording medium storing image processing program
CN108510004A (zh) * 2018-04-04 2018-09-07 深圳大学 一种基于深度残差网络的细胞分类方法及系统
CN112240878A (zh) * 2019-07-19 2021-01-19 欧蒙医学实验诊断股份公司 用于检测不同抗核抗体荧光图案类型的存在的方法和装置
CN114283113A (zh) * 2020-09-17 2022-04-05 欧蒙医学实验诊断股份公司 检测患者样本自身抗体与双链脱氧核糖核酸的结合的方法
CN117808733A (zh) * 2022-09-30 2024-04-02 欧蒙医学实验诊断股份公司 用于探测在免疫荧光图像上存在荧光图案的方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GABRIELLA LAKOS等: "Detection of anti-dsDNA antibodies by computer-aided automated immunofluorescence analysis", 《JOURNAL OF IMMUNOLOGICAL METHODS》, pages 1 - 3 *
JUN XU等: "A Deep Convolutional Neural Network for segmenting and classifying epithelial and stromal regions in histopathological images", 《NEUROCOMPUTING》, pages 2 - 3 *
陈滢等: "自身抗体联合检测在自身免疫性疾病诊断中的应用价值", 检验医学与临床, vol. 5, no. 24, 31 December 2008 (2008-12-31), pages 1494 - 1496 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114858765A (zh) * 2021-01-19 2022-08-05 欧蒙医学实验诊断股份公司 用于检测不同的抗体荧光图案类型的存在的方法和设备

Also Published As

Publication number Publication date
EP3712618B1 (de) 2023-10-04
US20200300764A1 (en) 2020-09-24
CN111707828B (zh) 2024-06-07
EP3712618A1 (de) 2020-09-23
US11549889B2 (en) 2023-01-10

Similar Documents

Publication Publication Date Title
CN111707828A (zh) 通过使用绿蝇短膜虫细胞和荧光显微术来检测患者样品的抗体与双链dna的结合的方法
US11914133B2 (en) Methods and apparatus for analyzing a bodily sample
US10692209B2 (en) Image processing apparatus, image processing method, and computer-readable non-transitory recording medium storing image processing program
CN112240878B (zh) 用于检测不同抗核抗体荧光图案类型的存在的方法和装置
US20220082567A1 (en) Method for detecting a binding of antibodies from a patient sample to double-stranded DNA using Crithidia luciliae cells and fluorescence microscopy
JP7487418B2 (ja) 多重化免疫蛍光画像における自己蛍光アーチファクトの識別
CN116113983A (zh) 多重免疫荧光染色组织的数字图像中坏死区域的自动化识别
US20240119589A1 (en) Method and device for detecting a presence of a fluorescence pattern on an immunofluorescence image of a biological cell substrate
CN115775223B (zh) 用于检测器官切片上荧光图案类型的存在的方法和设备
CN114858765A (zh) 用于检测不同的抗体荧光图案类型的存在的方法和设备
CN117805383A (zh) 用于探测在生物细胞基质的免疫荧光图像上的至少一个荧光图案的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant