CN114264639A - 一种用于细胞微损诱导的可视化装置及荧光监测方法 - Google Patents
一种用于细胞微损诱导的可视化装置及荧光监测方法 Download PDFInfo
- Publication number
- CN114264639A CN114264639A CN202111586817.8A CN202111586817A CN114264639A CN 114264639 A CN114264639 A CN 114264639A CN 202111586817 A CN202111586817 A CN 202111586817A CN 114264639 A CN114264639 A CN 114264639A
- Authority
- CN
- China
- Prior art keywords
- fluorescence
- cell
- micro
- damage
- cells
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012800 visualization Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims description 49
- 238000012544 monitoring process Methods 0.000 title claims description 21
- 230000001939 inductive effect Effects 0.000 title claims description 13
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 99
- 238000012545 processing Methods 0.000 claims abstract description 57
- 230000008859 change Effects 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 230000011218 segmentation Effects 0.000 claims abstract description 31
- 230000003287 optical effect Effects 0.000 claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 239000000284 extract Substances 0.000 claims abstract description 4
- 230000006378 damage Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 17
- 230000000694 effects Effects 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 15
- 239000006285 cell suspension Substances 0.000 claims description 14
- 239000011521 glass Substances 0.000 claims description 12
- 239000007850 fluorescent dye Substances 0.000 claims description 11
- 230000006698 induction Effects 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000002604 ultrasonography Methods 0.000 claims description 10
- 230000005284 excitation Effects 0.000 claims description 9
- 230000002441 reversible effect Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 230000002427 irreversible effect Effects 0.000 claims description 6
- 150000002632 lipids Chemical class 0.000 claims description 5
- 230000007935 neutral effect Effects 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 3
- 230000001413 cellular effect Effects 0.000 claims description 3
- 238000007599 discharging Methods 0.000 claims description 3
- 239000007788 liquid Substances 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000001215 fluorescent labelling Methods 0.000 claims description 2
- 238000011002 quantification Methods 0.000 claims description 2
- 210000004027 cell Anatomy 0.000 description 301
- 239000000243 solution Substances 0.000 description 18
- 230000006870 function Effects 0.000 description 10
- 230000008439 repair process Effects 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 239000000758 substrate Substances 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000012806 monitoring device Methods 0.000 description 7
- 230000005779 cell damage Effects 0.000 description 6
- 208000037887 cell injury Diseases 0.000 description 6
- 210000000170 cell membrane Anatomy 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 6
- 239000002184 metal Substances 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 230000002285 radioactive effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011049 filling Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 239000007789 gas Substances 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000011534 incubation Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004660 morphological change Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 239000002504 physiological saline solution Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000007853 buffer solution Substances 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004113 cell culture Methods 0.000 description 1
- 239000012930 cell culture fluid Substances 0.000 description 1
- 230000030833 cell death Effects 0.000 description 1
- 230000024245 cell differentiation Effects 0.000 description 1
- 230000032823 cell division Effects 0.000 description 1
- 210000002390 cell membrane structure Anatomy 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000012258 culturing Methods 0.000 description 1
- BFMYDTVEBKDAKJ-UHFFFAOYSA-L disodium;(2',7'-dibromo-3',6'-dioxido-3-oxospiro[2-benzofuran-1,9'-xanthene]-4'-yl)mercury;hydrate Chemical compound O.[Na+].[Na+].O1C(=O)C2=CC=CC=C2C21C1=CC(Br)=C([O-])C([Hg])=C1OC1=C2C=C(Br)C([O-])=C1 BFMYDTVEBKDAKJ-UHFFFAOYSA-L 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- DBLXOVFQHHSKRC-UHFFFAOYSA-N ethanesulfonic acid;2-piperazin-1-ylethanol Chemical compound CCS(O)(=O)=O.OCCN1CCNCC1 DBLXOVFQHHSKRC-UHFFFAOYSA-N 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- GPRLSGONYQIRFK-UHFFFAOYSA-N hydron Chemical compound [H+] GPRLSGONYQIRFK-UHFFFAOYSA-N 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000028993 immune response Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000001531 micro-dissection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 229920006255 plastic film Polymers 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 239000012266 salt solution Substances 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
- Y02A50/30—Against vector-borne diseases, e.g. mosquito-borne, fly-borne, tick-borne or waterborne diseases whose impact is exacerbated by climate change
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本申请涉及一种用于细胞微损诱导的可视化装置及荧光监测方法,其中可视化装置包括进样单元、超声发生单元、光学检测单元和处理单元,处理单元将各个明场图像分别输入到神经网络,通过特征分割处理得到对应的多个关于细胞的初始分割图像,提取目标细胞边界并从各个荧光图像中依次得到目标细胞的多个单细胞荧光图像,根据各个单细胞荧光图像形成的图像序列计算目标细胞随时间变化的荧光比例值,得到荧光比例时间曲线和荧光比例时间曲线上多项曲线参数,根据荧光比例时间曲线上的多项曲线参数对目标细胞的微损进行判断,得到目标细胞微损的分类结果。技术方案可以准确得知目标细胞微损变化状态,精准判断目标细胞微损程度和分类结果。
Description
技术领域
本申请涉及医学检测技术领域,具体涉及一种用于细胞微损诱导的可视化装置及荧光监测方法。
背景技术
细胞微损是指在细胞膜上以微米级精度诱导产生的局部损伤,这种局部损伤会影响细胞膜的完整性,进而影响细胞的物质交换、信息传递、免疫应答、细胞分裂和分化等功能。细胞微损程度与其诱导方式的性质、强度和持续时间有关系,有的诱导方式会引起较微弱的可逆性损伤,而有的会引起严重的不可逆性损伤,甚至导致细胞死亡。细胞微损诱导技术在细胞生物物理研究和细胞修复医学研究领域有重要应用。
当前,诱导细胞发生微损的方式包括机械性微损、放射性微损和激光微损。其中,机械性微损是指当细胞受到摩擦力、压力、牵引力、剪切力等机械力刺激时所引起的细胞局部损伤,比如尖端为1~2微米的毛细玻璃管可以直接刺伤细胞膜引起微损情形。其中,放射性微损是指细胞在超出其所能耐受剂量的高能电磁辐射及粒子的作用下引起的损伤,放射线会破坏细胞结构,大剂量的放射线照射可以使细胞膜结构崩解,但较小剂量也可以引起膜通透性改变。激光微损是指细胞在激光照射下由于激光热效应、压强效应、电磁场效应影响下引起的细胞局部损伤,激光会对细胞表面产生一定的压力,能够使细胞膜局部压强急剧升高,引起微型爆炸,从而导致细胞膜发生损伤,激光对细胞的微损受多种因素的影响,其微损程度取决于激光波长、强度、照射时间等因素。
以上介绍的三种细胞微损诱导方式都能对细胞产生局部损伤,并且各自存在一定的局限性。比如,机械性微损需要高精度显微操作仪的辅助,放射性微损的控制精度较差,激光微损物理作用复杂且激光设备价格昂贵。
发明内容
本申请主要解决的技术问题是:如何克服现有细胞微损诱导方式的局限性,提供一种新的细胞微损诱导方式和基于荧光图像的细胞微损程度监测方法。为解决上述技术问题,本申请提出一种用于细胞微损诱导的可视化装置及荧光监测方法。
根据第一方面,一种实施例中提供一种用于细胞微损诱导的可视化装置,包括:进样单元,具有放置样本容器的检测台;所述样本容器用于容纳细胞悬浮溶液、细胞特异性荧光染料和细胞微损液混合形成的待测样本,所述待测样本包括多个细胞和贴附于每个细胞的若干个微泡;超声发生单元,设于所述检测台的一侧,用于向所述样本容器内的待测样本定向发射超声波;所述超声波用于激发所述待测样本中的微泡产生机械效应并诱导贴附的细胞发生微损;光学检测单元,设于所述检测台的一侧,用于对所述样本容器内的待测样本进行光学聚焦和取像,通过循环切换取像模式得到细胞发生微损前后的多个明场图像和多个荧光图像;处理单元,与所述光学检测单元连接,用于对各个所述荧光图像进行荧光强度随时间变化的比较处理,以得到目标细胞微损的分类结果;其中,所述处理单元将各个所述明场图像分别输入到预设的神经网络,通过细胞和微泡的特征分割处理,得到对应的多个关于细胞的初始分割图像;所述处理单元对各个关于细胞的初始分割图像进行目标细胞边界的提取,根据提取的目标细胞边界从各个所述荧光图像中依次得到目标细胞的多个单细胞荧光图像;所述处理单元根据各个所述单细胞荧光图像形成的图像序列计算目标细胞随时间变化的荧光比例值,得到荧光比例时间曲线和所述荧光比例时间曲线上多项曲线参数;所述处理单元根据所述荧光比例时间曲线上的多项曲线参数对目标细胞的微损进行判断,得到目标细胞微损的分类结果。
所述超声发生单元包括波形发生器、功率放大器、超声换能器、声能量导管和声能量对焦尖端;所述波形发生器用于产生任意波形的波形信号;所述功率放大器与所述波形发生器连接,用于对所述波形信号进行功率的线性放大,产生超声激励脉冲信号;所述超声换能器与所述功率放大器连接,用于将所述超声激励脉冲信号转换为超声波,并将所述超声波定向发射到所述样本容器内的待测样本;所述声能量导管设于所述超声换能器的超声发射端,用于对所述超声波进行声能量的汇聚,通过汇聚输出端输出最大声能量;所述声能量对焦尖端设于所述声能量导管的汇聚输出端,用于指示所述最大声能量被作用在所述待测样本上的空间位置。
所述的可视化装置还包括三维移动机构,用于带动所述超声换能器进行三维方向上的移动,以调节所述声能量对焦尖端在所述待测样本上的对准位置;所述三维移动机构包括底座、夹具、多个导轨和多个调节旋钮;多个所述导轨按顺序固定连接且各自向不同的方向延伸,其中一个所述导轨固定在所述底座上;所述夹具固定在远离所述底座的所述导轨上,用于夹持所述超声换能器;多个所述调节旋钮分别设置在多个所述导轨上,各所述调节旋钮用于分别调节对应的所述导轨在延伸的方向上进行运动,从而带动所述夹具以及夹持的所述超声换能器进行三维方向上的移动,通过所述超声换能器的移动调整所述声能量对焦尖端在所述待测样本上的对准位置,使所述声能量对焦尖端对准于所述待测样本上的受检区域。
所述光学检测单元包括显微镜和相机;所述显微镜的镜头指向所述检测台上的样本容器,用于对所述样本容器内的待测样本进行光学聚焦,且光学聚焦的视野中心位置与所述待测样本上的受检区域重叠;所述相机与所述显微镜连接,用于对所述显微镜光学聚焦的视野中心位置进行取像,在未使用滤光通道下取像得到所述待测样本中细胞发生微损前后的多个明场图像,在使用滤光通道下取像荧光强度所述待测样本中细胞发生微损前后的多个荧光图像。
所述样本容器包括基体、载玻片和透明顶膜;所述基体内设有与外部空间连通的空腔,所述空腔的底部具有开孔;所述载玻片固定在所述空腔的底部开孔上;所述透明顶膜固定在所述空腔的底部,且与所述载玻片之间形成有培养室;所述透明顶膜上具有通向所述培养室的多个小孔,所述小孔用于向所述培养室内注入形成所述待测样本的细胞悬浮溶液、细胞特异性荧光染料和细胞微损液,以及用于排出所述培养室内的多余气体;所述细胞悬浮液中的细胞在经过培养后贴附于所述载玻片的表面,所述细胞特异性荧光染料能够对每个细胞的特定部位进行荧光标记,所述细胞微损液中的微泡为中性或带正电的脂质微型包膜且能够贴附在细胞的外壁上。
根据第二方面,一种实施例中提供一种细胞微损的荧光监测方法,包括:获取待测样本中细胞发生微损前后的多个明场图像和多个荧光图像;将各个所述明场图像分别输入到预设的神经网络,通过细胞和微泡的特征分割处理,得到对应的多个关于细胞的初始分割图像;对各个关于细胞的初始分割图像进行目标细胞边界的提取,根据提取的目标细胞边界从各个所述荧光图像中依次得到目标细胞的多个单细胞荧光图像;根据各个所述单细胞荧光图像形成的图像序列计算目标细胞随时间变化的荧光比例值,得到荧光比例时间曲线和所述荧光比例时间曲线上多项曲线参数;根据所述荧光比例时间曲线上的多项曲线参数对目标细胞的微损进行判断,得到目标细胞微损的分类结果;输出所述分类结果。
所述神经网络的构建过程包括:获取细胞和微泡被分别标注的多个训练样本,将各个所述训练样本分别输入到预设的U-NET模型以进行样本特征的学习,将训练完成后的U-NET模型作为所述神经网络。
所述根据各个所述单细胞荧光图像形成的图像序列计算目标细胞随时间变化的荧光比例值,得到荧光比例时间曲线和所述荧光比例时间曲线上多项曲线参数,包括:依据各个所述单细胞荧光图像的时间顺序形成图像序列;将所述图像序列中首个所述单细胞荧光图像中目标细胞的明度值设为所述图像序列的荧光强度初始值;将所述图像序列中其余各个所述单细胞荧光图像中目标细胞的明度值分别与所述荧光强度初始值进行归一化处理,得到对应的荧光比例值;依据其余各个所述单细胞荧光图像的时间顺序统计对应的荧光比例值,得到所述荧光比例时间曲线;通过量化处理得到所述荧光比例时间曲线上的初始值参数、峰值参数、达峰时间参数、最终稳定值参数中的一者或多者。
所述根据所述荧光比例时间曲线上的多项曲线参数对目标细胞的微损进行判断,得到目标细胞微损的分类结果,包括:获取所述荧光比例时间曲线上的初始值参数、峰值参数、达峰时间参数、最终稳定值参数中的一者或多者;在所述峰值参数超过预设的第一阈值,和所述达峰时间参数超过预设的第二阈值时,则判断所述荧光比例时间曲线上存在曲线波峰,反之不存在曲线波峰;若所述荧光比例时间曲线上不存在曲线波峰,则判断目标细胞微损为无效型微损;若所述荧光比例时间曲线上存在曲线波峰,且所述最终稳定值参数小于所述初始值参数的一定比例值,则判断目标细胞微损为不可逆性微损;若所述荧光比例时间曲线上存在曲线波峰,且所述最终稳定值参数大于或等于所述初始值参数的一定比例值,则判断目标细胞微损为可逆性微损。
根据第三方面,一种实施例中提供一种计算机可读存储介质,所述介质上存储有程序,所述程序能够被处理器执行以实现上述第二方面中所述的荧光监测方法。
本申请的有益效果是:
依据上述实施例的一种用于细胞微损诱导的可视化装置及荧光监测方法,其中可视化装置包括进样单元、超声发生单元、光学检测单元和处理单元,处理单元将各个明场图像分别输入到神经网络,通过细胞和微泡的特征分割处理,得到对应的多个关于细胞的初始分割图像;对各个关于细胞的初始分割图像进行目标细胞边界的提取,根据提取的目标细胞边界从各个荧光图像中依次得到目标细胞的多个单细胞荧光图像;根据各个单细胞荧光图像形成的图像序列计算目标细胞随时间变化的荧光比例值,得到荧光比例时间曲线和荧光比例时间曲线上多项曲线参数;根据荧光比例时间曲线上的多项曲线参数对目标细胞的微损进行判断,得到目标细胞微损的分类结果。第一方面,技术方案采用超声波激发微泡的方式诱导目标细胞发生微损,具有非接触、设备简单且定位可靠的优势,相比以往的机械性、放射性和激光性方式而言提供了又一种更加可靠的细胞微损诱导方式;第二方面,可视化装置的结构简单,通过移动超声发生单元即可对待测样本中的目标细胞进行对准,通过控制超声能量的激励脉冲信号的波形就能够方便地对目标细胞产生不同程度的微损,通过光学检测单元获取明场图像和荧光图像的方式记录细胞损伤和修复的动态过程,实现可视化的应用要求;第三方面,技术方案通过处理单元对荧光图像进行处理,计算荧光比例时间曲线能够快速地了解到细胞损伤及修复过程的情况,为细胞微损程度分类提供数据支撑;第四方面,在处理单元对荧光图像的处理过程中,对各个荧光图像进行荧光强度随时间变化的比较处理可以准确得知目标细胞微损变化状态,为目标细胞微损程度判断提供可靠的依据,从而准确得到目标细胞微损程度的分类结果。
附图说明
图1为本申请一种实施例中用于细胞微损诱导的可视化装置的结构图;
图2为可视化装置的具体结构图;
图3为声能量对焦尖端与样本容器配合使用的示意图;
图4为声能量对焦尖端对准于待测样本上受检区域的示意图;
图5为样本容器的正视图;
图6为样本容器的俯视图;
图7为三维移动机构的结构图;
图8为本申请一种实施例中细胞微损的荧光监测方法的流程图;
图9为得到荧光比例时间曲线及多项曲线参数的流程图;
图10为目标细胞微损分析的流程图;
图11为构建神经网络的原理示意图;
图12为明场图像中细胞和微泡的实物图;
图13为荧光图像中细胞的实物图;
图14为单细胞荧光图像的荧光强度随时间变化的图像序列;
图15为荧光强度随时间的变化曲线;
图16为另一种实施例中可视化装置的结构图。
具体实施方式
下面通过具体实施方式结合附图对本申请作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。而本申请所说“连接”、“联接”,如无特别说明,均包括直接和间接连接(联接)。
本申请技术方案提出了一种新的细胞微损诱导的可视化装置及相关的荧光监测方法,主要利用超声驱动微米级的微泡在显微镜下产生局部机械效应,从而诱导微泡附近的单个细胞发生微损,同时借助荧光图像监测细胞微损的情况,然后对各个荧光图像进行荧光强度随时间变化的比较处理来得到目标细胞微损的分类结果。
实施例一、
请参考图1和图2,本实施例中公开一种用于细胞微损诱导的可视化装置,其主要包括进样单元1、超声发生单元3、光学检测单元4和处理单元5,下面分别说明。
进样单元1具有放置样本容器21的检测台11,检测台11上可以具有适配样本容器21的凹槽或支架,如此可以稳定地放置样本容器21。样本容器21可以是样本杯或培养皿,用于容纳细胞悬浮溶液和细胞微损液混合形成的待测样本22,待测样本22包括多个细胞和贴附于每个细胞的若干个微泡。其中,细胞悬浮液是一定浓度活细胞的溶液,里面包含众多活体的细胞;细胞微损液是指加入一定浓度电中性或者带正电的脂质包膜微型气泡(微泡)的生理盐溶液;经过培养可使得个别微泡贴附在单个细胞的外壁上,比如,单个细胞的外壁上贴附一个微泡。
超声发生单元3设于检测台11的一侧,优选设在检测台11的上方且正对检测台11上样本容器21内的待测样本22。超声发生单元2用于向样本容器21内的待测样本22定向发射超声波。这里的超声波用于激发待测样本22中的微泡产生机械效应并诱导贴附的细胞发生微损。
需要说明的是,超声是指振动频率超过20千赫兹的声波,本实施例中的超声主要是中高频超声,其频率优选地使用0.5-5兆赫兹。由于微泡是一种内部气核且外部覆膜的微米级结构,那么微泡在超声周期性正负声压驱动下可以发生振动和爆破,微泡在振动和爆破产生的机械效应下能够使其附近的细胞膜产生微米级的机械损伤。技术方案就是利用这一特性,通过在单个细胞附近引入微泡,并施加超声波,从而激发微泡发生振动和爆破,进而实现单个细胞的微损。在单个细胞微损之后便可以通过细胞显微图像监测和算法分析,对细胞微损程度和修复结果进行分析和分类。
光学检测单元4设于检测台11的一侧,优选设在检测台11的下方,利用检测台11上样本容器21的底部透光特性来对样本容器21内的待测样本22进行光学检测。光学检测单元4用于对样本容器21内的待测样本22进行光学聚焦和取像,通过循环切换取像模式得到细胞发生微损前后的多个明场图像和多个荧光图像。需要说明的是,明场图像是指在环境明亮光线照射待测样本,且对待测样本取像中未使用滤光通道情况下拍摄到的色彩正常的图像;荧光图像是指在环境明亮光线照射待测样本,且对待测样本取像中使用了滤光通道情况下拍摄到的具有荧光特性的图像。那么可以理解,光学检测单元4在待测样本22中细胞发生微损前后对待测样本22进行取像,在未使用滤光通道的取像模式情况下得到的是明场图像,而在使用滤光通道的取像模式情况下得到的是荧光图像,那么通过循环切换取像模式即可交叉得到明场图像和荧光图像。
处理单元5可以是计算机、工作站等功能齐全的电子设备,也可以是微处理器、CPU、单片机之类的逻辑处理芯片,能够进行图像处理即可。处理单元5与光学检测单元4连接,用对各个荧光图像进行荧光强度随时间变化的比较处理,以得到目标细胞微损的分类结果。
在一个实施例中,参见图1和图2,超声发生单元3包括波形发生器31、功率放大器32、超声换能器33,分别说明如下。
波形发生器31用于产生任意波形的波形信号,并将波形信号发送至功率放大器32。
功率放大器32与波形发生器31连接,用于对波形信号进行功率的线性放大,产生超声激励脉冲信号,并将超声激励脉冲信号发送至超声换能器33。
超声换能器33与功率放大器32连接,用于将超声激励脉冲信号转换为超声波,并将超声波定向发射到样本容器21内的待测样本22。
需要说明的是,由于波形发生器31、功率放大器32、超声换能器33均是常规的电子元器件,所以这里不再对其结构和功能进行具体说明。
需要说明的是,由于波形发生器31产生的波形类型与超声换能器33发出超声波的特性有关,所以可以通过改变波形发生器31产生的波形类型来调节超声换能器33产生的超声能量。比如,在设置超声能量时,根据预期的细胞微损程度,对波形发生器31的工作参数进行配置,编辑不同脉冲占空比(0.1-50%)、不同脉冲重复频率(0-1000Hz)和不同峰值电压(0-600mV)的波形信号,从而使得超声换能器33输出不同能量的超声波,进而激发样本容器21中待测样本22内的微泡产生不同等级的机械效应,最终诱导贴附的细胞产生不同的微损程度。
进一步地,为了让超声换能器33发射的超声波对准于待测样本22上的受检区域,甚至对准于待测样本22内的目标细胞(比如某单个细胞),还需要对超声波的发射通道进行物理约束。请参见图1、图2、图3和图4,超声发生单元3还包括声能量导管34和声能量对焦尖端35。
声能量导管34设于超声换能器33的超声发射端,用于对超声波进行声能量的汇聚,通过汇聚输出端输出最大声能量。声能量导管34可以是漏斗状、两端开口的空腔结构,开口较大的一端连接在超声换能器33的超声发射端,开口较小的一端作为超声波的汇聚输出端。
声能量对焦尖端35设于声能量导管34的汇聚输出端,用于指示最大声能量被作用在待测样本22上的空间位置。如果声能量对焦尖端35指示的空间位置是待测样本22上的受检区域,那么最大声能量将作用于该受检区域,这里的受检区域一般是指待测样本22内目标微泡和被贴附的目标细胞所在的位置。声能量对焦尖端35可以为可拆卸的组件,需要对准于待测样本22的某个区域时则安装在声能量导管34的末端即可,在对准完成后拆除声能量对焦尖端35以免对超声波的发射路径造成干扰。声能量对焦尖端35可以具有金属尖端形成的对焦点,调节金属尖端在待测样本22上的空间位置即可让对焦点准确地对准于受检区域中的目标微泡。参见图2至图4,设定待测样本22上的受检区域是A,且该受检区域A正处于光学检测单元5的视野中心位置。声能量导管34和声能量对焦尖端35处于受检区域A的上方且沿空间坐标系的z轴设置,声能量对焦尖端35上的金属尖端指向受检区域A,可在受检区域A内沿空间坐标系的x轴方向和y轴方向进行移动,以使得金属尖端对准于受检区域A内的目标微泡,从而使得最大声能量能够直接作用于该目标微泡。
在一个具体实施例中,超声换能器33形状为环形,光学检测单元5的光路通过超声换能器33的环形内孔进行成像;而且,超声换能器33可采用水浸型超声换能器,外环直径为60-120mm,内环直径为30-80mm。声能量导管34为圆台样式,高度为20-110mm,与超声换能器33相连接的底面圆直径为60-120mm,与可拆卸的声能量对焦尖端35连接的顶面圆直径为10-30mm。声能量对焦尖端35具有圆形底盘且与声能量导管34的汇聚输出端相接,直径为10-30mm,声能量对焦尖端35具有金属尖端且直径小于1mm,其尖端位置为声能量导管34输出声能量最大值的空间位置。
在一个实施例中,参见图2和图7,监测装置还包括三维移动机构6,三维移动机构6用于带动超声换能器进行三维方向上的移动,以调节声能量对焦尖端35在待测样本22上的对准位置。三维移动机构6可以包括底座61、夹具62、多个导轨(如附图比标记63、64、65)和多个调节旋钮(如附图标记66、67、68)。其中,多个导轨63、64、65按顺序固定连接且各自向不同的方向延伸,其中一个导轨63固定在底座61上;比如导轨63沿z轴方向延伸,导轨64沿x方向延伸,导轨65沿y轴方向延伸。其中,夹具62固定在远离底座的导轨63上,用于夹持超声换能器33。其中,多个调节旋钮66、67、68分别设置在多个导轨63、64、65上,各调节旋钮用于分别调节对应的导轨在延伸的方向上进行运动,比如调节旋钮66调节导轨63沿z轴运动,调节旋钮67调节导轨64沿x轴运动,调节旋钮68调节导轨65沿y轴运动。在各个导轨运动的过程中,能够带动夹具62以及夹具62夹持的超声换能器33进行三维方向上的移动,通过超声换能器33的移动调整声能量对焦尖端35在待测样本22上的对准位置,使声能量对焦尖端35对准于待测样本上的受检区域。
在一个实施例中,参见图1、图2、图3、图4、图5和图6,样本容器21包括基体211、载玻片212和透明顶膜213,分别说明如下。
基体211内设有与外部空间连通的空腔,空腔的底部具有开孔(图5中未示意),空腔用于安装载玻片212、透明顶膜213,也可以容纳待测样本22。
载玻片212固定在空腔的底部开孔上,由于载玻片212为透明体,所以光线能够透过载玻片212达到载玻片212的下方,以便被下方设置的光学检测单元4所接收。
透明顶膜213固定在基体211的空腔底部,且透明顶膜213和载玻片212之间形成有培养室214,培养室214用于容纳待测样本22,透明顶膜213可以是塑料薄膜。此外,透明顶膜213上具有通向培养室214的多个小孔(如附图标记216),这些小孔用于向培养室214内注入形成待测样本22的细胞悬浮溶液和细胞微损液,以及用于排出培养室214内的多余气体。
当然,参见图3,样本容器21还可以包括盖子215,盖子215用于在需要时盖合在基体211上,从而使得基体211的空腔形成封闭结构,以便将细胞悬浮液和细胞微损液混匀形成待测样本22。
在一个具体实施例中,基体211为圆形,且外直径为50-100mm、内直径为40-90mm、高度为10-15mm、厚度为1-2mm。载玻片212的直径为45-95mm,粘贴于基体211的空腔底部的开孔上;透明顶膜213的直径为45-95mm,粘贴于基体211的空腔底部,透明顶膜213和载玻片212之间形成一个双层结构的培养室214以培养活细胞。由于透明顶膜213的厚度可以设置为小于0.1mm,所以超声波能量辐射能够轻松地进入培养室214。透明顶膜213上的每个小孔直径为2mm,其中个别小孔为细胞、细胞培养液和细胞微损液的注入口,其中个别小孔为排气孔。一定浓度的活细胞被培养在培养室214内并贴附于载玻片212的表面,那么在诱导细胞微损之前,将细胞微损液注入培养室214以及基体211的空腔内即可。
需要说明的是,细胞悬浮液中的细胞在经过培养后贴附于载玻片212的表面,细胞微损液中的微泡为电中性或带正电的脂质包膜微型气泡且能够贴附在细胞的外壁上。此外,由于透明顶膜213、待测样本22、载玻片212均具有透光性,所以光线可以透过它们以达到载玻片212的下方,从而被下方设置的光学检测单元4所接收,以便对待测样本22中目标细胞和目标微泡的微损状况进行取像。
在一个实施例中,可以通过以下方式制备细胞微损液:1)配制生理盐溶液,比如生理盐溶液可以是Hank’s平衡盐溶液,也可以是Ringer’s林格氏溶液,只要能够用于细胞短时培养用途的生理维持性质的盐溶液即可,而且,生理盐溶液可经过高温或过滤灭菌处理,最好再加入0.02%的4-羟乙基哌嗪乙磺酸氢离子缓冲溶液。2)在无菌操作条件下,向配制的生理盐溶液中加入电中性或者带正电的脂质包膜微型气泡(微泡),最好使得微泡浓度维持在1×104~1×108个每毫升。如此便制备完成细胞微损液。
在一个实施例中,参见图1和图2,光学检测单元4包括显微镜41和相机42,分别说明如下。
显微镜41的镜头指向检测台11上的样本容器21,优选地设置在样本容器21的下方。显微镜41用于对样本容器21内的待测样本进行光学聚焦,且光学聚焦的视野中心位置与待测样本上的受检区域重叠。比如,图4中的受检区域A即为显微镜41光学聚焦的视野中心位置。
相机42与显微镜41连接,可以采用高速高灵敏度的MOS相机或LCD相机。相机42用于对显微镜41光学聚焦的视野中心位置进行取像;相机42在未使用滤光通道下取像得到待测样本22中细胞发生微损前后的多个明场图像,相机42在使用滤光通道下取像得到待测样本22中细胞发生微损前后的多个荧光图像。其中,明场图像是指在环境明亮光线照射待测样本,且对待测样本取像中未使用滤光通道情况下拍摄到的色彩正常的图像;荧光图像是指在环境明亮光线照射待测样本,且对待测样本取像中使用了滤光通道情况下拍摄到的具有荧光特性的图像。
在一个实施例中,在显微镜41的视野下聚焦到待测样本22上的受检区域,并使得视野中心位置与受检区域对准。并在显微镜41的视野下,通过三维移动机构6来调节超声发生单元3的位置,从而使得声能量对焦尖端35靠近于透明顶膜213的外表面且对准于显微镜41的视野中心位置,那么,声能量导管34发出的最大声能量就能作用在待测样本22上的受检区域,从而精准释放超声能量并导致显微镜41的视野中心的目标微泡发生机械效应,进而诱导附近贴附的细胞发生微损。光学检测单元4中的显微镜41和相机42配合使用,可以对微损前、微损中和微损后的细胞进行显微成像,从而对细胞微损发生与修复动态过程进行图像记录,显微成像得到的一个或多个明场图像和荧光图像,图像被传输至处理单元5以进行存储和分析。
在一个实施例中,对于图1至图2中的监测装置,监测装置的工作流程描述如下:
(1)细胞准备阶段,细胞微损实验前16-24小时内,工作人员准备浓度为每毫升1×104至1×108个细胞的细胞悬浮液,通过透明顶膜213上的小孔216将细胞悬浮液注入到培养室214,然后将样本容器21置于恒温恒湿细胞培养箱培养中,通过约16小时的培养使得细胞悬浮液中的众多细胞贴附于培养室214的底部,也就是贴附在载玻片212的表面。
(2)微泡贴附细胞阶段,工作人员将细胞微损液注入培养室214,基体211合上盖子215,翻转样本容器21并令其水平静置5分钟左右,使得微泡上浮并靠近于载玻片212表面的细胞,使若干个微泡贴附于单个细胞的外壁;再次翻转样本容器21并使其水平正置,打开盖子215,向基体211的空腔内加入高度为0.6-12mm的细胞微损液。此时,样本容器21中的待测样本22配制完成,将样本容器21放在进样单元1的检测台11上即可。
(3)声场对准阶段,打开显微镜41并处于聚焦视野,使得显微镜41的聚焦中心位置与待测样本22上的受检区域重合,受检区域一般是指待测样本22内目标微泡和被贴附的目标细胞所在的位置。利用三维移动装置6来移动超声发生单元3,使得声能量对焦尖端35置于显微镜41的视野中心,随后卸掉声能量对焦尖端35以免对超声波的发射路径噪声干扰。
(4)超声能量设置阶段,根据预期细胞微损程度,可以对波形发生器31的工作参数进行配置,比如编辑不同脉冲占空比(0.1-50%)、不同脉冲重复频率(0-1000Hz)和不同峰值电压(0-600mV)的波形信号,依据这些配置参数可使得超声换能器33输出不同能量的超声波。
(5)显微成像阶段,调整显微镜41的明场投射光,把显微镜41的起偏器、检偏器移入光路,调整焦距,达到显微视野下细胞和微泡的成像最佳状态。
(6)图像获取阶段,在超声发生单元3进入工作状态前,启动相机42工作并连续取像5-20秒,记录待测样本22中细胞微损发生之前的状态;相机42继续工作,同时让超声发生单元3发射超声波,利用超声波激发待测样本22中的微泡产生机械效应,从而诱导贴附的细胞产生微损;细胞微损发生之后,相机42再工作5-60分钟。处理单元42接收并存储相机42工作期间摄取的多个明场图像和多个荧光图像,此后处理单元42对存储的多个明场图像和多个荧光图像进行分析处理。
在一个实施例中,处理单元5在对多个明场图像和多个荧光图像进行处理时包括以下过程:
(1)处理单元5将各个明场图像分别输入到预设的神经网络,通过细胞和微泡的特征分割处理,得到对应的多个关于细胞的初始分割图像。这里的神经网络是指上是细胞—微泡的分割网络,可通过深度学习图像分割模型来训练得到神经网络。需要说明的是,明场图像是指在环境明亮光线照射待测样本,且对待测样本取像中未使用滤光通道情况下拍摄到的色彩正常的图像。
细胞—微泡分割网络的训练过程可以理解为:挑选一些明场图像作为训练样本集,在训练样本集中人工分别标注出细胞和微泡的标签,然后将训练样本集中的各个明场图像输入到深度学习图像分割模型中以进行训练,让模型学习细胞和微泡的图像特征。比如,配置训练样本集中的单张图像尺寸为256*256,深度学习图像分割模型可以采用NestedU-Net模型,批处理大小可以为8,学习率可以为0.0001,最大迭代次数可以为1000次;从而将完成标注后的训练样本输入到U-Net模型中,待模型训练完成后,即可得到神经网络,并应用于新获取的明场图像的细胞—微泡分割任务。
当然,在某些情况下为了强化特征分割处理的效果,还可以对关于细胞的初始分割图像继续进行优化处理。比如,处理单元5对关于细胞的初始分割图像进行空洞填充和/或形态学运算的处理,得到细胞分割图像。需要说明的是,关于细胞的初始分割图像中可能会存在一些噪声,从而影响到细胞的图形识别,所以还需要对这些初始分割图像进行形态学方面的优化处理,比如包括膨胀、腐蚀、闭运算、开运算等常规的处理方式,达到空洞填充、优化图形的效果,使得细胞分割图像中能够显示一个个细胞的图形。
(2)处理单元5对各个关于细胞的初始分割图像进行目标细胞边界的提取,根据提取的目标细胞边界从各个荧光图像中依次得到目标细胞的多个单细胞荧光图像。由于关于细胞的初始分割图像中显示了一个个细胞的图形轮廓,那么就容易通过常规的图形分析手段得到图像中目标对象的图形轮廓特征,即单个细胞的外部边界。可以理解,由于相机42是通过交叉取像的方式得到各个明场图像和各个荧光图像,则前后取像得到的每个明场图像和每个荧光图像在同一个细胞的形态变化上区别不大,所以在得到每个明场图像中目标细胞的外部边界之后,就可以按照该目标细胞的外部边界在前后取像得到的荧光图像中找到同一个目标细胞的位置,在该荧光图像中分离出目标细胞的图像区域,即可得到目标细胞对应的单细胞荧光图像;同理,按照时间顺序分别提取多个明场图像中的目标细胞边界,就可以进一步按照时间顺序从各个荧光图像中分别确定目标细胞的单细胞荧光图像,从而得到按照时间顺序分布的目标细胞的多个单细胞荧光图像。需要说明的是,荧光图像是指在环境明亮光线照射待测样本,且对待测样本取像中使用了滤光通道情况下拍摄到的具有荧光特性的图像。
(3)处理单元5根据各个单细胞荧光图像形成的图像序列计算目标细胞随时间变化的荧光比例值,得到荧光比例时间曲线和荧光比例时间曲线上多项曲线参数。为了便于计算单细胞荧光图像的荧光强度(即明度值),可以将目标细胞的各个单细胞荧光图像均由RGB空间转换为HSV空间,然后将空间转换后的各个单细胞荧光图像按照时间顺序进行分布以形成图像序列,将图像序列中第一张单细胞荧光图像的明度值F1做为图像序列的荧光强度初始值,将其余的每个单细胞荧光图像明度值Fn与该初始值F1做归一化处理,计算荧光比例值Fn/F1,其中n为图像序号且取值为2、3、4……。由于荧光比例值的变化是随时间变化的过程,所以统计各个荧光比例值即可得到荧光比例时间曲线。
可以理解,细胞受到损伤时其内的荧光染料将出现集聚、出散等变化情况,这都对细胞的荧光强度产生影响,所以荧光比例值是前后时刻细胞的荧光强度发生改变的量化表示,荧光比例时间曲线是细胞的荧光强度在连续时间变化情况下的量化表示,获取荧光比例时间参数上的多项曲线参数有助于了解细胞荧光强度的变化情况,进一步了解细胞受到何种程度的损伤,以及细胞受到损伤后修复的情况。在这里,荧光比例时间曲线上的多项曲线参数包括初始值参数、峰值参数、达峰时间参数、最终稳定值参数中的一者或多者,通过这些参数可以直接了解到细胞荧光强度的变化情况。
(4)处理单元根据荧光比例时间曲线上的多项曲线参数对目标细胞的微损进行判断,得到目标细胞微损的分类结果。由于荧光比例时间曲线上的多项参数包括初始值参数、峰值参数、达峰时间参数、最终稳定值参数中的一者或多者,那么可以根据这些参数了解到曲线有无波峰,曲线上初始值和最终稳定值的大小差异,波峰表征的是目标细胞微损发生时刻荧光强度剧烈变化情况,初始值和最终稳定值分别表征的是目标细胞微损发生前后的荧光强度缓慢变化的情况,那么可以依据荧光强度的各种变化情况了解到目标细胞受到何种程度的损伤,以及细胞受到损伤后修复的情况,从而得到目标细胞微损的分类结果。
本领域的技术人员可以理解,上面实施例中的技术方案采用超声波激发微泡的方式诱导目标细胞发生微损,具有非接触、设备简单且定位可靠的优势,相比以往的机械性、放射性和激光性方式而言提供了又一种更加可靠的细胞微损诱导方式。此外,可视化装置的结构简单,通过移动超声发生单元即可对待测样本中的目标细胞进行对准,通过控制超声能量的激励脉冲信号的波形就能够方便地对目标细胞产生不同程度的微损,通过光学检测单元获取明场图像和荧光图像的方式记录细胞损伤和修复的动态过程,实现可视化的应用要求。
实施例二、
在实施例一中公开的可视化装置的基础上,本实施例中公开一种细胞微损的荧光监测方法,该荧光监测方法主要在图1和图2中的处理单元5上进行应用。
在本实施例中,请参考图8,细胞微损的荧光监测方法包括步骤110-160,下面分别说明。
步骤110,获取待测样本中细胞发生微损前后的多个明场图像和多个荧光图像。
对于实施例一中公开的可视化装置,参见图1和图2,通过光学检测单元4中的相机42摄取得到待测样本22中细胞发生微损前后的一些图像,比如,相机42在未使用滤光通道下取像得到待测样本22中细胞发生微损前后的多个明场图像,相机42在使用滤光通道下取像荧光强度待测样本22中细胞发生微损前后的多个荧光图像,相机42取像得到的多个明场图像和多个荧光图像被存储在处理单元5中,那么,处理单元5通过读取即可获取多个明场图像和多个荧光图像。需要说明的是,明场图像是指在环境明亮光线照射待测样本,且对待测样本取像中未使用滤光通道情况下拍摄到的色彩正常的图像;荧光图像是指在环境明亮光线照射待测样本,且对待测样本取像中使用了滤光通道情况下拍摄到的具有荧光特性的图像。
比如图12中的明场图像,图像中包含有一个微泡和被微泡贴附的单个细胞,可以看出微泡的体积相比细胞要小很多,由于微泡是微米级结构,所以其在超声波能量的作用下会发生振动和爆破,此时将诱导被贴附的细胞发生微米级的微损。
比如图13中的荧光图像,由于待测样本中的细胞被具有细胞特异性的荧光染料处理,所以图像中仅包含有荧光显示的单个细胞,而没有显示微泡。在细胞发生微损的情况下其内的荧光染料将出现集聚、出散等变化情况,这将对细胞的荧光强度产生影响。
步骤120,将各个明场图像分别输入到预设的神经网络,通过细胞和微泡的特征分割处理,得到对应的多个关于细胞的初始分割图像。需要说明的是,这里的神经网络是指上是细胞—微泡的分割网络,可通过深度学习图像分割模型来训练得到神经网络。
在另一个实施例中,为了强化特征分割处理的效果,还可以对关于细胞的初始分割图像继续进行优化处理。比如,对关于细胞的初始分割图像进行空洞填充和/或形态学运算的处理,得到细胞分割图像;由于细胞的初始分割图像中可能会存在一些噪声,从而影响到细胞的图形识别,所以还需要对这些初始分割图像进行形态学方面的优化处理,比如包括膨胀、腐蚀、闭运算、开运算等常规的处理方式,达到空洞填充、优化图形的效果,使得细胞分割图像中能够显示一个个细胞的图形。
步骤130,对各个关于细胞的初始分割图像进行目标细胞边界的提取,根据提取的目标细胞边界从各个荧光图像中依次得到目标细胞的多个单细胞荧光图像。
需要说明的是,由于关于细胞的初始分割图像中显示了一个个细胞的图形轮廓,那么就容易通过常规的图形分析手段得到图像中目标对象的图形轮廓特征,即单个细胞的外部边界。可以理解,由于图2中的相机42是通过交叉取像的方式得到各个明场图像和各个荧光图像,则前后取像得到的每个明场图像和每个荧光图像在同一个细胞的形态变化上区别不大,所以在得到每个明场图像中目标细胞的外部边界之后,就可以按照该目标细胞的外部边界在前后取像得到的荧光图像中找到同一个目标细胞的位置,在该荧光图像中分离出目标细胞的图像区域,即可得到目标细胞对应的单细胞荧光图像;同理,按照时间顺序分别提取多个明场图像中的目标细胞边界,就可以进一步按照时间顺序从各个荧光图像中分别确定目标细胞的单细胞荧光图像,从而得到按照时间顺序分布的目标细胞的多个单细胞荧光图像。
步骤140,根据各个单细胞荧光图像形成的图像序列计算目标细胞随时间变化的荧光比例值,得到荧光比例时间曲线和所述荧光比例时间曲线上多项曲线参数。
比如图14,包含了目标细胞的八个单细胞荧光图像,各个单细胞荧光图像按照细胞微损前后的时间顺序进行分布,其中0秒为目标细胞微损发生的时刻,借助荧光区域的形状变化可以看出目标细胞发生了微米级的损伤,在此后的2-4秒内损伤达到最大化,但是在18-300内目标细胞逐渐修复到微损前的状态。可以理解,图14中的这些单细胞荧光图像就形成了图像序列。
步骤150,根据荧光比例时间曲线上的多项曲线参数对目标细胞的微损进行判断,得到目标细胞微损的分类结果。
步骤160,输出分类结果。比如,将分类结果传输到显示器上以便工作人员查看分类结果,从而了解目标细胞微损程度的情况。
在一个实施例中,参见图11,对于步骤120中提及的神经网络,神经网络的构建过程包括:获取细胞和微泡被分别标注的多个训练样本,将各个训练样本分别输入到预设的U-NET模型以进行样本特征的学习,将训练完成后的U-NET模型作为神经网络。具体地,挑选一些明场图像作为训练样本集,在训练样本集中人工分别标注出细胞和微泡的标签,然后将完成标注的训练样本集中的各个明场图像(即多个训练样本)输入到深度学习图像分割模型中以进行训练,让模型学习细胞和微泡的图像特征。比如,配置训练样本集中的单张图像尺寸为256*256,深度学习图像分割模型可以采用Nested U-Net模型,批处理大小可以为8,学习率可以为0.0001,最大迭代次数可以为1000次;从而将完成标注后的多个训练样本输入到U-Net模型中,待模型训练完成后,即可得到神经网络,并应用于新获取的明场图像的细胞—微泡分割任务。
在本实施例中,上面的步骤120主要涉及得到荧光比例时间曲线的过程,那么可参考图9,该步骤140可具体包括步骤141-145,分别说明如下。
步骤141,依据各个单细胞荧光图像的时间顺序形成图像序列。为了便于计算单细胞荧光图像的荧光强度,可以将目标细胞的各个单细胞荧光图像均由RGB空间转换为HSV空间,然后将空间转换后的各个单细胞荧光图像按照时间顺序进行分布以形成图像序列。
步骤142,将图像序列中首个单细胞荧光图像中目标细胞的明度值设为图像序列的荧光强度初始值。
步骤143,将图像序列中其余各个单细胞荧光图像中目标细胞的明度值分别与荧光强度初始值进行归一化处理,得到对应的荧光比例值。
比如,将图像序列中第一张单细胞荧光图像的明度值F1作为图像序列的荧光强度初始值,将其余的每个单细胞荧光图像明度值Fn与该初始值F1做归一化处理,计算荧光比例值Fn/F1,其中n为图像序号且取值为2、3、4……。
需要说明的是,归一化处理实际上是数据的标准化过程,将数据按比例缩放使之落入一个小的特定区间,如此可去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较。最典型方式就是数据统一映射到[0,1]区间上。
步骤144,依据其余各个单细胞荧光图像的时间顺序统计对应的荧光比例值,得到荧光比例时间曲线。对应荧光比例值Fn/F1,n=2、3、4……,计算结果是随时间变化的过程,所以统计各个荧光比例值即可得到荧光比例时间曲线。
需要说明的是,细胞受到损伤时其内的荧光染料将出现集聚、出散等变化情况,这都对细胞的荧光强度产生影响,所以荧光比例值是前后时刻细胞的荧光强度发生改变的量化表示,荧光比例时间曲线是细胞的荧光强度在连续时间变化情况下的量化表示,获取荧光比例时间参数上的多项曲线参数有助于了解细胞荧光强度的变化情况,进一步了解细胞受到何种程度的损伤,以及细胞受到损伤后修复的情况。
步骤145,通过量化处理得到所述荧光比例时间曲线上的初始值参数、峰值参数、达峰时间参数、最终稳定值参数中的一者或多者。
需要说明的是,由于荧光比例时间曲线上的多项曲线参数包括初始值参数、峰值参数、达峰时间参数、最终稳定值参数中的一者或多者,那么通过这些参数可以直接了解到细胞荧光强度的变化情况,进而了解细胞受到何种程度的损伤,以及细胞受到损伤后修复的情况。
在本实施例中,上面的步骤150主要涉及得到目标细胞微损的分类结果的过程,那么可参考图10,该步骤150可具体包括步骤151-157,分别说明如下。
步骤151,获取荧光比例时间曲线上的初始值参数、峰值参数、达峰时间参数、最终稳定值参数中的一者或多者。
步骤152,在峰值参数超过预设的第一阈值,和达峰时间参数超过预设的第二阈值时,则判断荧光比例时间曲线上存在曲线波峰,反之不存在曲线波峰。那么,若荧光比例时间曲线上存在曲线波峰则进入步骤154,反之进入步骤153。
可以理解,这里的第一阈值、第二阈值均是用户可自由设置的数值,不做具体限定。
步骤153,在荧光比例时间曲线上不存在曲线波峰的情况下,则判断目标细胞微损为无效型微损。该步骤153之后进入步骤157。
可以理解,由于曲线波峰表征的是目标细胞微损发生时刻荧光强度剧烈变化情况,那么可以依据荧光强度的剧烈变化情况了解到目标细胞受到何种程度的损伤。如果不存在曲线波峰则表明目标细胞没有收到损伤,所以为无效型微损。
步骤154,在荧光比例时间曲线上存在曲线波峰的情况下,继续判断最终稳定值参数小于初始值参数的一定比例值,若是则进入步骤155,反之进入步骤156。
可以理解,由于初始值和最终稳定值分别表征的是目标细胞微损发生前后的荧光强度缓慢变化的情况,那么可以依据荧光强度的缓慢变化情况了解到目标细胞受到损伤后修复的情况。
步骤155,在荧光比例时间曲线上存在曲线波峰的情况下,且最终稳定值参数小于初始值参数的一定比例值(如30%),则判断目标细胞微损为不可逆性微损。该步骤155之后进入步骤157。
可以理解,荧光比例时间曲线上存在曲线波峰则表明目标细胞发生微损,而最终稳定值参数小于初始值参数的一定比例值,则表明目标细胞没有恢复到微损发生前的状态,所以能够确定目标细胞微损程度为不可逆性微损。
步骤156,在荧光比例时间曲线上存在曲线波峰的情况下,且最终稳定值参数大于或等于初始值参数的一定比例值(如30%),则判断目标细胞微损为可逆性微损。该步骤156之后进入步骤157。
可以理解,荧光比例时间曲线上存在曲线波峰则表明目标细胞发生微损,而最终稳定值参数大于或等于初始值参数的一定比例值,则表明目标细胞恢复到了微损发生前的状态,所以能够确定目标细胞微损程度为可逆性微损。
比如图15中示意了荧光比例值随时间的变化曲线,可以看到在0秒时刻,超声脉冲释放引起待测样本中的微泡产生机械效应而损伤了目标细胞,荧光比例值Fn/F1升高到160%;而后随着目标细胞的修复,荧光比例值逐渐下降,并使得最终稳定值参数大于初始值参数的70%;那么,经过基于荧光图像的细胞微损程度分析与分类,可以判断图15中示意的细胞微损程度为可逆性微损。
步骤157,形成目标细胞微损程度的分类结果。无论是无效型微损,还是不可逆性微损、可逆性微损,得到的哪一种微损情况都是目标细胞微损程度的分类结果。
本领域的技术人员可以理解,本实施例中的技术方案对荧光图像进行处理,计算荧光比例时间曲线能够快速地了解到细胞损伤及修复过程的情况,为细胞微损程度分类提供数据支撑。此外,技术方案在荧光图像的处理过程中,对各个荧光图像进行荧光强度随时间变化的比较处理可以准确得知目标细胞微损变化状态,为目标细胞微损程度判断提供可靠的依据,从而准确得到目标细胞微损程度的分类结果。
实施例三、
在实施例二中公开的细胞微损的荧光监测方法的基础上,本实施例中公开一种监测装置,该监测装置7包括存储器71和处理器72。
在本实施例中,存储器71和处理器72是监测装置7的主要部件,当然监测装置7还可以包括一些与处理器72连接的检测组件和执行组件,具体可参考上面的实施例一,这里不再详细说明。
其中,存储器71可作为计算机可读存储介质,这里用于存储程序,该程序可以是实施例二中荧光监测方法对应的程序代码。
其中,处理器72与存储器71连接,用于执行存储器71中存储的程序以实现上面实施例二中公开的荧光监测方法,比如图8中的步骤110-160。需要说明的是,处理器72实现的功能可以参考实施例一中的处理单元5,这里不再进行详细说明。
本领域技术人员可以理解,上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现,也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存储器、磁盘、光盘、硬盘等,通过计算机执行该程序以实现上述功能。例如,将程序存储在设备的存储器中,当通过处理器执行存储器中程序,即可实现上述全部或部分功能。另外,当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中,通过下载或复制保存到本地设备的存储器中,或对本地设备的系统进行版本更新,当通过处理器执行存储器中的程序时,即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本申请进行阐述,只是用于帮助理解本申请技术方案,并不用以限制本申请。对于所属技术领域的技术人员,依据本申请的思想,还可以做出若干简单推演、变形或替换。
Claims (10)
1.一种用于细胞微损诱导的可视化装置,其特征在于,包括:
进样单元,具有放置样本容器的检测台;所述样本容器用于容纳细胞悬浮溶液、细胞特异性荧光染料和细胞微损液混合形成的待测样本,所述待测样本包括多个细胞和贴附于每个细胞的若干个微泡;
超声发生单元,设于所述检测台的一侧,用于向所述样本容器内的待测样本定向发射超声波;所述超声波用于激发所述待测样本中的微泡产生机械效应并诱导贴附的细胞发生微损;
光学检测单元,设于所述检测台的一侧,用于对所述样本容器内的待测样本进行光学聚焦和取像,通过循环切换取像模式得到细胞发生微损前后的多个明场图像和多个荧光图像;
处理单元,与所述光学检测单元连接,用于对各个所述荧光图像进行荧光强度随时间变化的比较处理,以得到目标细胞微损的分类结果;其中,
所述处理单元将各个所述明场图像分别输入到预设的神经网络,通过细胞和微泡的特征分割处理,得到对应的多个关于细胞的初始分割图像;
所述处理单元对各个关于细胞的初始分割图像进行目标细胞边界的提取,根据提取的目标细胞边界从各个所述荧光图像中依次得到目标细胞的多个单细胞荧光图像;
所述处理单元根据各个所述单细胞荧光图像形成的图像序列计算目标细胞随时间变化的荧光比例值,得到荧光比例时间曲线和所述荧光比例时间曲线上多项曲线参数;
所述处理单元根据所述荧光比例时间曲线上的多项曲线参数对目标细胞的微损进行判断,得到目标细胞微损的分类结果。
2.如权利要求1所述的可视化装置,其特征在于,所述超声发生单元包括波形发生器、功率放大器、超声换能器、声能量导管和声能量对焦尖端;
所述波形发生器用于产生任意波形的波形信号;
所述功率放大器与所述波形发生器连接,用于对所述波形信号进行功率的线性放大,产生超声激励脉冲信号;
所述超声换能器与所述功率放大器连接,用于将所述超声激励脉冲信号转换为超声波,并将所述超声波定向发射到所述样本容器内的待测样本;
所述声能量导管设于所述超声换能器的超声发射端,用于对所述超声波进行声能量的汇聚,通过汇聚输出端输出最大声能量;
所述声能量对焦尖端设于所述声能量导管的汇聚输出端,用于指示所述最大声能量被作用在所述待测样本上的空间位置。
3.如权利要求2所述的可视化装置,其特征在于,还包括三维移动机构,用于带动所述超声换能器进行三维方向上的移动,以调节所述声能量对焦尖端在所述待测样本上的对准位置;
所述三维移动机构包括底座、夹具、多个导轨和多个调节旋钮;
多个所述导轨按顺序固定连接且各自向不同的方向延伸,其中一个所述导轨固定在所述底座上;
所述夹具固定在远离所述底座的所述导轨上,用于夹持所述超声换能器;
多个所述调节旋钮分别设置在多个所述导轨上,各所述调节旋钮用于分别调节对应的所述导轨在延伸的方向上进行运动,从而带动所述夹具以及夹持的所述超声换能器进行三维方向上的移动,通过所述超声换能器的移动调整所述声能量对焦尖端在所述待测样本上的对准位置,使所述声能量对焦尖端对准于所述待测样本上的受检区域。
4.如权利要求1所述的可视化装置,其特征在于,所述光学检测单元包括显微镜和相机;
所述显微镜的镜头指向所述检测台上的样本容器,用于对所述样本容器内的待测样本进行光学聚焦,且光学聚焦的视野中心位置与所述待测样本上的受检区域重叠;
所述相机与所述显微镜连接,用于对所述显微镜光学聚焦的视野中心位置进行取像,在未使用滤光通道下取像得到所述待测样本中细胞发生微损前后的多个明场图像,在使用滤光通道下取像荧光强度所述待测样本中细胞发生微损前后的多个荧光图像。
5.如权利要求1所述的可视化装置,其特征在于,所述样本容器包括基体、载玻片和透明顶膜;
所述基体内设有与外部空间连通的空腔,所述空腔的底部具有开孔;
所述载玻片固定在所述空腔的底部开孔上;
所述透明顶膜固定在所述空腔的底部,且与所述载玻片之间形成有培养室;
所述透明顶膜上具有通向所述培养室的多个小孔,所述小孔用于向所述培养室内注入形成所述待测样本的细胞悬浮溶液、细胞特异性荧光染料和细胞微损液,以及用于排出所述培养室内的多余气体;
所述细胞悬浮液中的细胞在经过培养后贴附于所述载玻片的表面,所述细胞特异性荧光染料能够对每个细胞的特定部位进行荧光标记,所述细胞微损液中的微泡为中性或带正电的脂质微型包膜且能够贴附在细胞的外壁上。
6.一种细胞微损的荧光监测方法,其特征在于,包括:
获取待测样本中细胞发生微损前后的多个明场图像和多个荧光图像;
将各个所述明场图像分别输入到预设的神经网络,通过细胞和微泡的特征分割处理,得到对应的多个关于细胞的初始分割图像;
对各个关于细胞的初始分割图像进行目标细胞边界的提取,根据提取的目标细胞边界从各个所述荧光图像中依次得到目标细胞的多个单细胞荧光图像;
根据各个所述单细胞荧光图像形成的图像序列计算目标细胞随时间变化的荧光比例值,得到荧光比例时间曲线和所述荧光比例时间曲线上多项曲线参数;
根据所述荧光比例时间曲线上的多项曲线参数对目标细胞的微损进行判断,得到目标细胞微损的分类结果;
输出所述分类结果。
7.如权利要求6所述的荧光监测方法,其特征在于,所述神经网络的构建过程包括:
获取细胞和微泡被分别标注的多个训练样本,将各个所述训练样本分别输入到预设的U-NET模型以进行样本特征的学习,将训练完成后的U-NET模型作为所述神经网络。
8.如权利要求6所述的荧光监测方法,其特征在于,所述根据各个所述单细胞荧光图像形成的图像序列计算目标细胞随时间变化的荧光比例值,得到荧光比例时间曲线和所述荧光比例时间曲线上多项曲线参数,包括:
依据各个所述单细胞荧光图像的时间顺序形成图像序列;
将所述图像序列中首个所述单细胞荧光图像中目标细胞的明度值设为所述图像序列的荧光强度初始值;
将所述图像序列中其余各个所述单细胞荧光图像中目标细胞的明度值分别与所述荧光强度初始值进行归一化处理,得到对应的荧光比例值;
依据其余各个所述单细胞荧光图像的时间顺序统计对应的荧光比例值,得到所述荧光比例时间曲线;
通过量化处理得到所述荧光比例时间曲线上的初始值参数、峰值参数、达峰时间参数、最终稳定值参数中的一者或多者。
9.如权利要求8所述的荧光监测方法,其特征在于,所述根据所述荧光比例时间曲线上的多项曲线参数对目标细胞的微损进行判断,得到目标细胞微损的分类结果,包括:
获取所述荧光比例时间曲线上的初始值参数、峰值参数、达峰时间参数、最终稳定值参数中的一者或多者;
在所述峰值参数超过预设的第一阈值,和所述达峰时间参数超过预设的第二阈值时,则判断所述荧光比例时间曲线上存在曲线波峰,反之不存在曲线波峰;
若所述荧光比例时间曲线上不存在曲线波峰,则判断目标细胞微损为无效型微损;
若所述荧光比例时间曲线上存在曲线波峰,且所述最终稳定值参数小于所述初始值参数的一定比例值,则判断目标细胞微损为不可逆性微损;
若所述荧光比例时间曲线上存在曲线波峰,且所述最终稳定值参数大于或等于所述初始值参数的一定比例值,则判断目标细胞微损为可逆性微损。
10.一种计算机可读存储介质,其特征在于,所述介质上存储有程序,所述程序能够被处理器执行以实现如权利要求6-9中任一项所述的荧光监测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111586817.8A CN114264639B (zh) | 2021-12-23 | 2021-12-23 | 一种用于细胞微损诱导的可视化装置及荧光监测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111586817.8A CN114264639B (zh) | 2021-12-23 | 2021-12-23 | 一种用于细胞微损诱导的可视化装置及荧光监测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114264639A true CN114264639A (zh) | 2022-04-01 |
CN114264639B CN114264639B (zh) | 2023-07-04 |
Family
ID=80828919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111586817.8A Active CN114264639B (zh) | 2021-12-23 | 2021-12-23 | 一种用于细胞微损诱导的可视化装置及荧光监测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114264639B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115100033A (zh) * | 2022-05-20 | 2022-09-23 | 浙江大学 | 一种荧光显微图像超分辨重建方法和装置以及计算设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106520535A (zh) * | 2016-10-12 | 2017-03-22 | 山东大学 | 一种基于光片照明的免标记细胞检测装置及方法 |
CN107438668A (zh) * | 2014-12-04 | 2017-12-05 | 天主教关东大学校技术持株株式会社 | 利用能量的多能细胞诱导装置和方法 |
CN108865881A (zh) * | 2018-07-10 | 2018-11-23 | 深圳大学 | 基于声磁耦合电刺激原理的细胞功能调控系统及调控方法 |
CN111323403A (zh) * | 2020-03-26 | 2020-06-23 | 中国科学院空天信息创新研究院 | 基于立体均匀聚焦激光的单细胞蛋白定量检测系统及方法 |
CN113466111A (zh) * | 2021-07-29 | 2021-10-01 | 武汉科技大学 | 一种单细胞分析系统及方法和应用 |
-
2021
- 2021-12-23 CN CN202111586817.8A patent/CN114264639B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107438668A (zh) * | 2014-12-04 | 2017-12-05 | 天主教关东大学校技术持株株式会社 | 利用能量的多能细胞诱导装置和方法 |
CN106520535A (zh) * | 2016-10-12 | 2017-03-22 | 山东大学 | 一种基于光片照明的免标记细胞检测装置及方法 |
CN108865881A (zh) * | 2018-07-10 | 2018-11-23 | 深圳大学 | 基于声磁耦合电刺激原理的细胞功能调控系统及调控方法 |
CN111323403A (zh) * | 2020-03-26 | 2020-06-23 | 中国科学院空天信息创新研究院 | 基于立体均匀聚焦激光的单细胞蛋白定量检测系统及方法 |
CN113466111A (zh) * | 2021-07-29 | 2021-10-01 | 武汉科技大学 | 一种单细胞分析系统及方法和应用 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115100033A (zh) * | 2022-05-20 | 2022-09-23 | 浙江大学 | 一种荧光显微图像超分辨重建方法和装置以及计算设备 |
CN115100033B (zh) * | 2022-05-20 | 2023-09-08 | 浙江大学 | 一种荧光显微图像超分辨重建方法和装置以及计算设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114264639B (zh) | 2023-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021503078A (ja) | 光学測定用試料収容器 | |
US10866182B2 (en) | Method and optical system for saturated illumination of analytes by a number of beams | |
CN106520535B (zh) | 一种基于光片照明的免标记细胞检测装置及方法 | |
CN114298212B (zh) | 一种用于细胞微损诱导的监测装置及明场监测方法 | |
CN110446803A (zh) | 自动收集指定数目的细胞 | |
KR20110091898A (ko) | 샘플의 광학 섹셔닝 및 샘플 내 입자들의 검출 | |
CN104204767A (zh) | 有数字全息显微镜的流式细胞仪 | |
JP2009207416A (ja) | 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置 | |
CN114264639A (zh) | 一种用于细胞微损诱导的可视化装置及荧光监测方法 | |
Zhao et al. | Robotic label-free precise oocyte enucleation for improving developmental competence of cloned embryos | |
CN205286323U (zh) | 一种无创循环肿瘤细胞检测诊断装置 | |
CN111067482A (zh) | 磁控偏振光声成像方法和系统 | |
WO2005017513A1 (ja) | 特定高分子結晶の評価装置 | |
CN105424667B (zh) | 痕量微生物快速检测方法 | |
RU2540254C2 (ru) | Способ и устройство для планирования сканирования с использованием ультрафиолетового излучения | |
CN114441412A (zh) | 利用声辐射力测试生物细胞力学特性的装置及测试方法 | |
CN116165161A (zh) | 太赫兹波辐射生物样本的剂量探测系统及辐射方法 | |
US20230303961A1 (en) | Sample measurement apparatus, sample measurement system, and artificial insemination apparatus | |
CN106092991A (zh) | 一种利用dapi荧光染料对活细胞内活性氧含量的检测方法 | |
CN210571972U (zh) | 显微拉曼光谱仪 | |
CN103698538A (zh) | 结核感染t细胞免疫斑点分析仪及其图像生成数据分析方法 | |
CN116609313B (zh) | 细胞高通量测试方法、系统和设备 | |
CN111057640A (zh) | 一种原位研究细胞力学特性的实验装置 | |
CN104808327B (zh) | 一种用于细胞操纵的显微镜 | |
CN114717101B (zh) | 基于微流控滤光芯片的双视场微藻活性分析装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |