CN113780145A - 精子形态检测方法、装置、计算机设备和存储介质 - Google Patents
精子形态检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113780145A CN113780145A CN202111038951.4A CN202111038951A CN113780145A CN 113780145 A CN113780145 A CN 113780145A CN 202111038951 A CN202111038951 A CN 202111038951A CN 113780145 A CN113780145 A CN 113780145A
- Authority
- CN
- China
- Prior art keywords
- sperm
- morphology
- image
- frame
- detection result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种精子形态检测方法、装置、计算机设备和存储介质。所述方法包括:从待检测精子形态视频中获取连续多帧精子形态图像;对每帧精子形态图像进行检测,当确定每帧精子形态图像中存在精子时,获取每帧精子形态图像中单个精子的位置检测结果;根据每帧精子形态图像中单个精子的位置检测结果,确定多帧精子形态图像中的同一个精子;对每帧精子形态图像中的单个精子进行精子形态检测,获取单个精子的精子形态检测结果;根据同一个精子在多帧精子形态图像中的精子形态检测结果,生成同一个精子的精子形态检测结果。采用本方法能够避免精子在游动过程中因翻转等原因而造成的形态检测结果误差,提升了精子形态检测准确率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种精子形态检测方法、装置、计算机设备和存储介质。
背景技术
精液分析是判断男性生育力的一个重要检查方式,其中比较常用的一项检测为精子形态检测。精子形态检测是检测精子畸形率的重要方法。
传统技术中,可以基于计算机视觉技术、机器学习理论、深度学习等方法进行精子形态检测。以深度学习方法为例,可以通过目标检测模型对精子形态图像进行单个精子的识别和定位,提取精子形态图像中的单个精子图像;再通过分类模型对个精子图像进行形态分类识别,得到精子的形态检测结果。然而,由于传统技术中的检测方式都是基于单张图像的检测,存在精子形态检测不够准确的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种充分考虑精子在不同运动状态下呈现的精子形态,从而能够提升精子形态检测准确性的精子形态检测方法、装置、计算机设备和存储介质。
第一方面,本申请实施例提供一种精子形态检测方法,包括:
从待检测精子形态视频中获取连续多帧精子形态图像;
对每帧精子形态图像进行检测,当确定每帧所述精子形态图像中存在精子时,获取每帧所述精子形态图像中单个精子的位置检测结果;
根据每帧所述精子形态图像中单个精子的位置检测结果,确定多帧所述精子形态图像中的同一个精子;
对每帧所述精子形态图像中的所述单个精子进行精子形态检测,获取所述单个精子的精子形态检测结果;
根据同一个精子在多帧所述精子形态图像中的精子形态检测结果,生成所述同一个精子的精子形态检测结果。
在其中一个实施例中,所述对每帧所述精子形态图像中的所述单个精子进行精子形态检测,获取所述单个精子的精子形态检测结果,包括:
通过精子分割模型对每帧所述精子形态图像进行检测,当检测所述精子形态图像中存在精子时,从所述精子形态图像中分割得到单个精子的精子分割图像;
通过形态识别模型对所述精子分割图像进行分类识别,得到所述单个精子的精子形态检测结果。
在其中一个实施例中,所述方法还包括:
通过精子局部分割模型对所述精子分割图像进行语义分割,得到所述单个精子中多个精子局部的局部分割图像;
所述通过形态识别模型对所述精子分割图像进行分类识别,得到所述单个精子的精子形态检测结果,包括:
通过与各个所述精子局部对应的形态识别模型对各个所述精子局部的局部分割图像进行分类识别,得到各个所述精子局部的局部形态检测结果;
根据多个所述精子局部的局部形态检测结果,生成所述单个精子的精子形态检测结果。
在其中一个实施例中,多个精子局部的局部分割图像包括精子头部图像、精子颈部图像、精子尾部图像中的至少一个。
在其中一个实施例中,所述形态识别模型包括依次连接的多个卷积部分,各个所述卷积部分包括卷积嵌入块和多个卷积变换块;
所述通过形态识别模型对所述精子分割图像进行分类识别,得到所述单个精子的精子形态检测结果,包括:
依次通过各个卷积部分中的卷积嵌入块对精子输入特征进行特征提取,对于第一个卷积部分,所述精子输入特征为所述精子分割图像,对于除所述第一个卷积部分外的各个其他卷积部分,所述精子输入特征为上一个卷积部分输出的精子输出特征;
通过各个卷积部分中的卷积变换块对特征提取后的所述精子输入特征进行全局信息学习和局部信息学习,得到精子输出特征;
根据最后一个卷积部分输出的所述精子输出特征,生成所述单个精子的精子形态检测结果。
在其中一个实施例中,所述卷积嵌入块,包括依次连接的卷积层、形状变换层、第一归一化层;所述依次通过各个卷积部分中的卷积嵌入块对精子输入特征进行特征提取,包括:
通过各个所述卷积部分中卷积嵌入块中的所述卷积层、所述形状变换层、所述第一归一化层对精子输入特征进行特征提取。
在其中一个实施例中,所述卷积变换块,包括卷积映射层、多头注意力层、多层感知机层、残差连接层、第二归一化层;
所述通过各个卷积部分中的卷积变换块对特征提取后的所述精子输入特征进行全局信息学习和局部信息学习,得到精子输出特征,包括:
通过所述卷积映射层、所述多头注意力层、所述多层感知机层、所述残差连接层、所述第二归一化层对特征提取后的所述精子输入特征进行全局信息学习和局部信息学习,得到精子输出特征。
在其中一个实施例中,所述对每帧精子形态图像进行检测,当确定每帧所述精子形态图像中存在精子时,获取每帧所述精子形态图像中单个精子的位置检测结果,包括:
对每帧所述精子形态图像进行检测,当确定每帧所述精子形态图像中存在精子时,则
确定每帧所述精子形态图像中所述单个精子中精子头部的头部位置信息,将所述头部位置信息作为所述单个精子的位置检测结果。
在其中一个实施例中,每帧所述精子形态图像中存在多个精子;
所述根据每帧所述精子形态图像中单个精子的位置检测结果,确定多帧所述精子形态图像中的同一个精子,包括:
获取当前帧精子形态图像中各个所述精子的第一头部位置信息,以及所述当前帧的下一帧精子形态图像中各个所述精子的第二头部位置信息;
生成各个所述精子的第一头部位置信息与各个所述精子的第二头部位置信息之间的距离;
根据所述距离,从多个所述第二头部位置信息中确定出与各个所述第一头部位置信息对应的目标头部位置信息,将存在于所述第一头部位置信息中的精子,与存在于对应的所述目标头部位置信息中的精子作为同一个精子;
直至对多帧所述精子形态图像处理完毕,得到多帧所述精子形态图像中的同一个精子。
第二方面,本申请实施例提供一种精子形态检测装置,包括:
图像获取模块,用于从待检测精子形态视频中获取连续多帧精子形态图像;
位置检测模块,用于对每帧精子形态图像进行检测,当确定每帧所述精子形态图像中存在精子时,获取每帧所述精子形态图像中单个精子的位置检测结果;
精子确定模块,用于根据每帧所述精子形态图像中单个精子的位置检测结果,确定多帧所述精子形态图像中的同一个精子;
形态检测模块,用于对每帧所述精子形态图像中的所述单个精子进行精子形态检测,获取所述单个精子的精子形态检测结果;
形态检测结果生成模块,用于根据同一个精子在多帧所述精子形态图像中的精子形态检测结果,生成所述同一个精子的精子形态检测结果。
第三方面,本申请实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面任一项所述的精子形态检测方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面任一项所述的精子形态检测方法。
上述精子形态检测方法、装置、计算机设备和存储介质,在从待检测精子形态视频中获取连续多帧精子形态图像后,基于深度学习理论对每帧精子形态图像进行检测,在确定每帧精子形态图像中存在精子后,根据每帧精子形态图像中单个精子的位置检测结果,确定多帧精子形态图像中的同一个精子;进而对每帧精子形态图像中的单个精子进行精子形态检测,获取单个精子的精子形态检测结果,最后根据同一个精子在多帧精子形态图像中的精子形态检测结果,生成同一个精子的精子形态检测结果。通过基于深度学习理论对精子形态图像进行检测,极大地简化了精子形态检测的工作流程、提升了精子形态检测效率;通过基于每条精子的动态追踪结果进行连续多帧形态分析,避免了精子在游动过程中因翻转等原因而造成的形态检测结果误差,提升了精子形态检测准确率。
附图说明
为了更清楚地说明本说明书实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中精子形态检测方法的流程示意图;
图2为一个实施例中生成单个精子的精子形态检测结果步骤的流程示意图;
图3为另一个实施例中生成精子形态检测结果步骤的流程示意图;
图4为一个实施例中形态识别模型的示意图;
图5为一个实施例中生成精子形态检测结果步骤的流程示意图;
图6为一个实施例中形态识别模型中卷积嵌入块的结构示意图;
图7为一个实施例中形态识别模型中卷积变换块的结构示意图;
图8为一个实施例中识别精子运动轨迹步骤的流程示意图;
图9为另一个实施例中精子形态检测方法的流程示意图;
图10为一个实施例中精子形态检测装置的结构框图;
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的精子形态检测方法,可以应用于终端、服务器等计算机设备中,或者包括终端和服务器的系统中。以下内容将以应用于终端为例进行说明。终端中预先部署有已训练的至少一种深度学习模型。深度学习模型可以使用终端或者终端外的其他计算机设备预训练完成。具体地,终端获取待检测精子形态视频,从待检测精子形态视频中获取连续多帧精子形态图像。基于深度学习理论对每帧精子形态图像进行检测,当确定每帧精子形态图像中存在精子时,获取每帧精子形态图像中单个精子的位置检测结果。根据每帧精子形态图像中单个精子的位置检测结果,确定多帧精子形态图像中的同一个精子。基于深度学习理论对每帧精子形态图像中的单个精子进行精子形态检测,获取单个精子的精子形态检测结果。根据同一个精子在多帧精子形态图像中的精子形态检测结果,生成同一个精子的精子形态检测结果。
其中,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图1所示,提供了一种精子形态检测方法,以该方法应用于终端为例进行说明,包括以下步骤:
步骤S110,从待检测精子形态视频中获取连续多帧精子形态图像。
其中,待检测精子形态视频可以是指对新鲜精液样本进行采集得到的视频。新鲜精液样本可以是未经染色的样本。例如,将新鲜精液滴入载玻片,使用图像采集装置(例如光学显微镜)对载玻片采集得到。
连续多帧精子形态图像的帧数依实际需求而定,例如,可以是从任意时间段提取的连续10帧。多帧精子形态图像还可以是对待检测精子形态视频中提取的图像进行一系列预处理后得到的图像,预处理可以但不限于是尺寸处理、图像增强处理等。
具体地,待检测精子形态视频可以是实时采集的视频,则终端可以从图像采集装置处实时获取所采集得到的视频。待检测精子形态视频还可以是预先采集并存储在本地数据库或者服务器数据库中的视频,那么终端可以从本地数据库或者服务器数据库中获取待检测精子形态视频。终端在获取待检测精子形态视频后,从待检测精子形态视频中提取得到连续多帧精子形态图像。
步骤S120,对每帧精子形态图像进行检测,当确定每帧精子形态图像中存在精子时,获取每帧精子形态图像中单个精子的位置检测结果。
其中,精子的位置检测结果用于反映每帧精子形态图像中的各个精子的位置信息。各个精子的位置信息可以通过精子所在矩形框的位置坐标等表征。
具体地,终端通过已训练的第一深度学习模型对每帧精子形态图像进行检测。第一深度学习模型是至少具备目标检测能力的模型,可以通过一种端到端模型,或者通过多种独立模型组合实现。终端将每帧精子形态图像输入至第一深度学习模型,当通过第一深度学习模型确定每帧精子形态图像中存在精子时,获取每帧精子图像中单个精子的位置检测结果。每帧精子形态图像中可能存在多个精子,在这种情况下,终端则获取各个精子的位置检测结果。
进一步地,每帧精子形态图像可以通过唯一性图像标识表征。在获取每帧精子形态图像中精子的位置检测结果后,终端可以建立图像标识与精子的位置检测结果之间的映射关系,以便于后续使用。
步骤S130,根据每帧精子形态图像中单个精子的位置检测结果,确定多帧精子形态图像中的同一个精子。
具体地,当每帧精子形态图像中都存在一个精子时,可以将多帧精子形态图像中的精子作为同一个精子。
当至少一帧精子形态图像中存在多个精子时,则从第一帧精子形态图像开始,根据当前帧精子形态图像以及当前帧的下一帧中各个精子的位置检测结果,从下一帧中多个精子的位置检测结果中确定出当前帧的各个精子在下一帧中的位置。直至对多帧精子形态图像处理完毕,确定多帧精子形态图像中的同一个精子,即,得到各个精子在多帧精子形态图像中的运动轨迹。
进一步地,每帧精子形态图像中的同一个精子可以通过相同的唯一性精子标识表征,以便于后续使用。
步骤S140,对每帧精子形态图像中的单个精子进行精子形态检测,获取单个精子的精子形态检测结果。
具体地,终端通过已训练的第二深度学习模型对每帧精子形态图像进行检测。第二深度学习模型是至少具备目标检测和分类识别能力的模型,可以通过一种端到端模型,或者通过多种独立模型组合实现。终端将每帧精子形态图像输入至第二深度学习模型,当通过第二深度学习模型确定每帧精子形态图像中存在精子时,继续对存在的单个精子进行分类识别,输出每帧精子图像中单个精子的精子形态检测结果。
步骤S150,根据同一个精子在多帧精子形态图像中的精子形态检测结果,生成同一个精子的精子形态检测结果。
具体地,终端对多帧精子形态图像的所有精子的精子形态检测结果进行聚类,得到与同一个精子对应的多个精子形态检测结果。当同一个精子的多个精子形态检测结果都为异常时,生成该个精子异常的形态检测结果;当同一个精子的多个精子形态检测结果中存在至少一个为正常时,生成该个精子正常的形态检测结果。
示例性地,存在2帧精子形态图像,2帧精子形态图像中分别存在三个精子,三个精子各自对应唯一性的精子标识精子1、精子2、精子3。第一帧精子形态图像中:精子1的精子形态检测结果为精子头部异常;精子2的精子形态检测结果为精子头部异常;精子3的精子形态检测结果为正常。第二帧精子形态图像中:精子1的精子形态检测结果为精子颈部异常;精子2的精子形态检测结果为正常;精子3的精子形态检测结果为正常。那么聚类得到精子1的精子形态检测结果为【精子头部异常;精子颈部异常】,精子2的精子形态检测结果为【精子头部异常;正常】,精子3的精子形态检测结果为【正常;正常】。进而可以生成精子1异常的形态检测结果;精子2正常的形态检测结果;精子3正常的形态检测结果。
进一步地,终端还可以输出同一个精子在多帧精子形态图像中的单个精子图像,以及对应的精子形态图像检测结果,以便用户后续分析使用。
上述精子形态检测方法中,通过基于深度学习理论对精子形态图像进行检测,极大地简化了精子形态检测的工作流程、提升了精子形态检测效率;通过基于每条精子的动态追踪结果进行连续多帧形态分析,避免了精子在游动过程中因翻转等原因而造成的形态检测结果误差,提升了精子形态检测准确率。
在一个实施例中,如图2所示,步骤S140,对每帧精子形态图像中的单个精子进行精子形态检测,获取单个精子的精子形态检测结果,包括:
步骤S210,通过精子分割模型对每帧精子形态图像进行检测,当检测精子形态图像中存在精子时,从精子形态图像中分割得到单个精子的精子分割图像。
其中,精子分割模型可以是任一种能够进行图像实例分割的模型,例如Mask R-CNN(Mask Region Convolutional Neural Networks,一种图像实例分割模型)、BlendMask(一种实例分割模型)、SOLO-V2(Segmenting Objects by Locations,一种实例分割模型)等;或者是基于现有模型进行改进的模型等。
具体地,终端将每帧精子形态图像输入至已训练的精子分割模型。当通过精子分割模型检测待检测精子图像中存在精子时,获取各个精子的边界,根据各个精子的边界从每帧精子形态图像中提取出对应的精子图像。终端将各个精子图像放置于第一预设尺寸(例如224*224像素尺寸),像素值全部为0的背景图像中,生成对应的单个精子的精子分割图像。
步骤S220,通过形态识别模型对精子分割图像进行分类识别,得到单个精子的精子形态检测结果。
其中,形态识别模型可以通过任一种能够进行分类识别的模型,例如,AlexNet(一种卷积神经网络)、ResNet(Residual Network,深度残差网络);或者是基于现有模型进行改进的模型;或者自行设计的模型等。
具体地,终端将所得到每张精子分割图像输入至已训练的形态识别模型。通过形态识别模型对每张精子分割图像进行分类识别,得到各个形态类别的概率值,根据概率值确定出精子的精子形态检测结果。示例性地,形态识别模型包括三个类别:类别A、类别B和类别C。通过形态识别模型得到精子分割图像的检测结果为类别A概率值0.8、类别B概率值0.1、类别C概率值0.1。类别A的概率值最大,那么可以将类别A作为精子分割图像中精子的精子形态检测结果。精子形态检测结果可以但不限于是整体正常、精子头部异常、精子中段异常、精子主段异常等中的任一个。
本实施例中,通过采用精子分割模型得到单个精子的精子分割图像,可以精确地根据分割获得的边界提取出各个精子,排除了其他杂质的干扰,且避免了在精子相互交叉的情况下存在其他干扰精子的问题,从而提升了精子形态检测的准确性。
在一个实施例中,对精子分割模型的一种训练方式进行说明,可以通过以下步骤实现:
(1)获取精子图像样本,以及与精子图像样本对应的精子分割图像标签。
其中,精子图像样本可以是使用图像采集装置在不同条件(例如不同采集视野、不同光照)下采集到的图像样本。每张精子图像样本中包括需要图像分割模型进行分割的精子。精子分割图像标签是在精子图像样本的基础上,对其中的精子边界进行标注得到的数据标签。
具体地,可以使用图像采集装置采集不同条件下的多张精子图像样本。将多张精子图像样本以及精子分割图像标签存储在本地数据库,或者固化于服务器中。在需要对初始精子分割模型进行训练时,从本地数据库或者服务器中获取多张精子图像样本。对每张精子图像样本中的精子边界进行标注,得到对应的精子分割图像标签。
(2)按照预设的图像裁剪方式对精子图像样本进行裁剪,得到多张训练图像样本。
其中。预设的图像裁剪方式依实际训练需求而定,例如,可以对精子图像样本进行均分裁剪;从精子图像中裁剪出预设尺寸等。在本实施例中,可以从每张精子图像样本的四个角,各裁剪得到预设尺寸的图像。
具体地,终端在获取多张精子图像样本后,按照预设的图像裁剪方式对每张精子图像样本进行裁剪,从每张精子图像样本的四个角位置(即左上、右上、左下、右下)各裁剪得到第二预设尺寸的图像,作为训练图像样本。
(3)按照图像裁剪方式对精子分割图像标签进行裁剪,得到与每张训练图像样本对应的训练标签。
具体地,针对与每张精子图像样本对应的精子分割图像标签,同样按照预设的图像裁剪方式对精子分割图像标签进行裁剪,从精子分割图像标签的四个角位置各裁剪得到第二预设尺寸的图像标签,作为训练标签。建立属于相同角位置的训练图像样本和图像标签之间的对应关系。
(4)使用训练图像样本以及训练标签对初始精子分割模型进行训练,得到精子分割模型。
其中,初始精子分割模型是指还未经训练的精子分割模型。
具体地,终端将训练图像样本输入至初始精子分割模型,通过初始精子分割模型输出预测分割结果。采用损失函数计算预测分割结果和训练标签之间的损失值。根据计算得到的损失值对初始精子分割模型的模型参数进行调整,直至达到预设停止条件。预设停止条件可以是指达到预设的迭代次数,或者获取的损失值满足预设阈值。最后,可以根据训练过程中损失值最小或者鲁棒性最好的初始精子分割模型的模型参数,生成最终使用的精子分割模型。
本实施例中,通过按照预设的图像裁剪方式对精子图像样本进行裁剪得到多张训练图像,一方面可以获得适合于模型输入尺寸的图像,另一方面还可以实现数据增强,有助于缓解精子分割模型在训练过程中的过拟合问题。
在一个实施例中,如图3所示,所述方法还包括:
步骤S310,通过精子局部分割模型对精子分割图像进行语义分割,得到单个精子中多个精子局部的局部分割图像。
其中,精子局部可以但不限于是精子的头部、颈部、尾部等中的多个。
精子局部分割模型可以是任一种能够进行语义分割的模型,例如U-Net(一种语义分割模型)、FCN(Fully Convolutional Networks for Semantic Segmentation,一种语义分割模型)、SegNet(一种语义分割模型)等;或者是基于现有模型进行改进的模型。
具体地,终端将所得的每张精子分割图像输入至已训练的精子局部分割模型。通过精子局部分割模型对每张精子分割图像进行语义分割,得到多个精子局部的局部分割图像。例如,精子局部包括精子的头部、颈部、尾部。那么通过精子局部分割模型对各个精子分割图像进行语义分割,可以得到每张精子分割图像对应的精子头部图像、精子颈部图像、精子尾部图像。
在本实施例中,步骤S220通过形态识别模型对精子分割图像进行分类识别,得到单个精子的精子形态检测结果,具体可以通过以下步骤实现:
步骤S320,通过与各个精子局部对应的形态识别模型对各个精子局部的局部分割图像进行分类识别,得到各个精子局部的局部形态检测结果。
其中,形态识别模型可以通过任一种能够进行分类识别的模型,例如,AlexNet、ResNet;或者是基于现有模型进行改进的模型;或者自行设计的模型等。
具体地,终端将所得到的与各个精子局部对应的局部分割图像输入至与各个精子局部对应的形态识别模型。通过形态识别模型对输入的局部分割图像进行分类识别,得到各个精子局部的局部形态检测结果。其中,当精子局部为头部时,头部形态检测结果可以为正常、大头、小头、锥形头、梨形头、圆头、不定形头、顶体区过大、顶体区过小、顶体后区空泡等中的任一个。当精子局部为颈部时,颈部形态检测结果可以为正常、颈部过粗、颈部过细、锐角弯曲、非对称性、过量胞浆残留等中的任一个。当精子局部为尾部时,尾部形态检测结果可以为正常、尾部过长、尾部过短、锐角弯曲、卷曲等中的任一个。
步骤S330,根据多个精子局部的局部形态检测结果,生成单个精子的精子形态检测结果。
具体地,当与每张精子分割图像对应的多个局部形态检测结果都为正常时,则可以生成存在于精子分割图像中的精子形态正常的检测结果。当与每张精子分割图像对应的任一个局部形态检测结果为异常(除正常外的其他任一种检测结果)时,则可以生成存在于精子分割图像中的精子形态异常的检测结果。
本实施例中,通过采用精子局部分割模型对每张精子分割图像进行语义分割,得到各个精子局部的局部分割图像。再对各个局部分割图像进行单独识别,得到局部形态检测结果,进而根据每张精子分割图像对应的多个局部形态检测结果判断精子形态是否正常,由于精子是三维立体结构,其在运动过程中是翻转运动前行的,通过捕捉精子在前行过程中的每一个局部的运动瞬间,可以更准确地评价精子真实的形态,提升了精子形态检测准确率。
在一个实施例中,形态识别模型包括依次连接的多个卷积部分,以及与最后一个卷积部分连接的全连接层。各个卷积部分包括卷积嵌入块和多个卷积变换块。图4示例性示出了形态识别模型的结构示意图。如图5所示,步骤S220,通过形态识别模型对精子分割图像进行分类识别,得到单个精子的精子形态检测结果,可以通过以下步骤实现:
步骤S510,依次通过各个卷积部分中的卷积嵌入块对精子输入特征进行特征提取。
步骤S520,通过各个卷积部分中的卷积变换块对特征提取后的精子输入特征进行全局信息学习和局部信息学习,得到精子输出特征。
其中,对于第一个卷积部分,精子输入特征为精子分割图像,对于除第一个卷积部分外的各个其他卷积部分,精子输入特征为上一个卷积部分输出的精子输出特征。
卷积嵌入块中卷积层的步幅大于1,使经过卷积嵌入块后的精子输入特征的尺寸变小,通道数增加,从而能够大幅减少输入至卷积变换块的参数量。图6示例性示出了卷积嵌入块的一种结构示意图。如图6所示,卷积嵌入块包括依次连接的卷积层、形状变换层和第一归一化层。
卷积变换块可以用于学习输入特征的全局信息,例如整体精子轮廓的全局信息;以及输入特征的局部信息,例如,精子顶体面积的局部信息。图7示例性示出了卷积变换块的一种结构示意图。如图7所示,卷积变换块包括依次连接的卷积映射层、多头注意力层、第二归一化层、多层感知机层,以及残差连接层。
具体地,终端将精子分割图像输入至形态识别模型。第一个卷积部分中卷积嵌入块中的卷积层对精子分割图像进行特征提取后输入至形状变换层。形状变换层将卷积层输出的特征向量的形状改变为适合卷积变换块输入的形状。然后经过第一归一化层后输入至与卷积嵌入块连接的卷积变换块。通过多个卷积变换块中的卷积映射层、多头注意力层、第二归一化层、多层感知机层、残差连接层对特征提取后的精子输入特征进行全局信息学习和局部信息学习,得到精子输出特征。第一卷积部分将精子输出特征输入至第二卷积部分,循环上述过程,直至最后一个卷积部分处理完毕。
步骤S530,根据最后一个卷积部分输出的精子输出特征,生成单个精子的精子形态检测结果。
具体地,最后一个卷积部分将输出的精子输出特征输入至全连接层。通过全连接层对精子输出特征进行处理,输出预设长度的向量。进而根据预设长度的向量得到精子分割图像中精子的精子形态检测结果(即类别)。
本实施例中,通过采用上述形态识别模型对精子分割图像进行精子形态检测,使形态识别模型能够学习到更多的信息,从而有助于提升精子形态检测的准确性。
在一个实施例中,对单个精子的位置检测结果的一种获取方式进行说明。步骤S120,对每帧精子形态图像进行检测,当确定每帧精子形态图像中存在精子时,获取每帧精子形态图像中单个精子的位置检测结果,包括:对每帧精子形态图像进行检测,当确定每帧精子形态图像中存在精子时,则确定每帧精子形态图像中单个精子中精子头部的头部位置信息,将头部位置信息作为单个精子的位置检测结果。
具体地,终端在获取每帧精子形态图像后,可以将每帧精子形态图像输入至已训练的目标检测模型。当目标检测模型获取每帧精子形态图像中存在精子头部时,获取存在于每帧精子形态图像中的各个精子头部的头部位置信息,将头部位置信息作为精子的位置检测结果。其中,目标检测模型可以采用任一种能够进行目标检测的模型,例如,RefineDet(一种基于单阶段的检测器)、Faster R-CNN(一种目标检测网络)、SSD(Single ShotMultibox Detector,一种目标检测模型)、YOLO(You Only Look Once,一种目标检测模型)等。
本实施例中,基于目标检测模型对每帧精子形态图像中的精子头部进行检测,将精子头部的位置信息作为精子的位置检测结果,相对于对整个精子进行检测而言,可以减少精子交叉的概率,从而有助于提升精子位置检测的准确性。
在一个实施例中,对单个精子的位置检测结果的另一种获取方式进行说明。步骤S120,对每帧精子形态图像进行检测,当确定每帧精子形态图像中存在精子时,获取每帧精子形态图像中单个精子的位置检测结果,包括:对每帧精子形态图像进行检测,当确定每帧精子形态图像中存在精子时,则确定每帧精子形态图像中各个精子中精子头部的头部位置信息,将头部位置信息作为各个精子的位置检测结果。
具体地,终端在获取多帧精子形态图像后,将每帧精子形态图像输入至已训练的精子分割模型。当通过精子分割模型检测待检测精子图像中存在精子时,获取各个精子在精子形态图像中的位置信息,并根据该位置信息提取得到各个精子的精子分割图像。然后,终端采用精子局部分割模型对每张精子分割图像进行语义分割,得到多个精子局部的局部分割图像。获取目标局部的目标局部分割图像。根据各个精子在精子形态图像中的位置信息,以及各个精子的目标局部分割图像,计算得到目标局部所在的外界矩形框,作为各个精子的位置检测结果。其中,目标局部可以采用精子头部。
本实施例中,基于精子分割结果和精子局部分割结果计算得到各个精子在精子形态图像中的位置检测结果,相对于对整个精子进行检测而言,可以减少精子交叉的概率,从而有助于提升精子位置检测的准确性。
在一个实施例中,每帧精子形态图像中存在多个精子;如图8所示,步骤S130,根据每帧精子形态图像中单个精子的位置检测结果,确定多帧精子形态图像中的同一个精子,包括:
步骤S810,获取当前帧精子形态图像中各个精子的第一头部位置信息,以及当前帧的下一帧精子形态图像中各个精子的第二头部位置信息。
步骤S820,生成各个精子的第一头部位置信息与各个精子的第二头部位置信息之间的距离。
其中,当前帧图像是指终端当前正分析处理的图像。头部位置信息可以但不限于包括精子头部所在矩形框的位置坐标和中心点坐标。
具体地,终端获取当前帧图像中各个精子的第一头部位置信息,以及当前帧图像的下一帧图像中各个精子的第二头部位置信息。其中,头部位置信息的获取方式可以参照上述实施例,在此不做具体阐述。针对当前帧图像中的各个精子,终端计算第一头部位置信息与下一帧图像中的各个第二头部位置信息之间的距离。其中,距离可以通过以下计算公式得到:
D=Dist-10*IoU
其中,D代表距离;Dist代表当前帧中各个精子的头部检测框的中心点与下一帧中的各个精子的头部检测框的中心点之间的距离;IoU代表当前帧中各个精子的头部检测框与下一帧中的各个精子的头部检测框的IoU(Intersection over Union,交并比)值。
步骤S830,根据距离,从多个第二头部位置信息中确定出与各个第一头部位置信息对应的目标头部位置信息,将存在于第一头部位置信息中的精子,与存在于对应的目标头部位置信息中的精子作为同一个精子。
步骤S840,直至对多帧精子形态图像处理完毕,得到多帧精子形态图像中的同一个精子。
具体地,终端从多个距离中获取值最小的距离。将值最小的距离对应的第二头部位置信息确定为当前帧图像中的各个精子头部在下一帧图像中的头部位置信息。终端按照步骤S810~步骤S830所述的内容确定各个精子在每帧图像中所处的位置,进而确定多帧精子形态图像中的同一个精子。
本实施例中,基于精子头部的位置信息确定多帧精子形态图像中的同一个精子的运动轨迹,可以精准定位多帧精子形态图像中的同一个精子。通过对每帧精子形态图像中的精子头部进行检测,相对于对整个精子进行检测的方法而言,可以减少精子交叉的概率,从而有助于提升精子位置检测的准确性。
在一个实施例中,如图9所示,提供一种具体的精子形态检测方法,包括以下步骤:
步骤S902,获取待检测精子形态视频,从待检测精子形态视频中提取得到连续多帧原始图像。
其中,待检测精子形态视频可以通过配备数码相机的光学显微镜在40倍物镜下对滴有精液的载玻片进行成像拍照得到。提取的原始图像的图像尺寸(像素尺寸)为1024*1536。
步骤S904,对每帧原始图像的图像尺寸进行第一预处理,得到精子形态图像。
其中,第一预处理包括尺寸标准化处理和像素值归一化处理。即,根据原始图像得到尺寸为768*1152图像;将所得到的图像的各个像素值除以255并进行归一化。
步骤S906,通过精子分割模型对所获取的每帧精子形态图像进行检测,当检测精子形态图像中存在精子时,获取单个的精子图像。将精子图像放置于尺寸为224*224、像素值全部为0的背景图像中,得到对应的精子分割图像。
以下对精子分割模型的一种训练方式进行说明:
精子分割模型可以采用BlendMask模型。首先,获取若干精子图像样本,以及与精子图像样本对应的精子分割图像标签。精子图像样本的图像尺寸为1024*1536。从每张精子图像样本的四个角(左上、右上、左下、右下)各裁剪得到一个768*1152大小的图像,并对裁剪获得的图像进行像素值归一化处理,得到训练图像样本。按照上述图像裁剪方式对精子分割图像标签进行裁剪,得到与每张训练图像样本对应的训练标签。将训练图像样本输入至初始BlendMask模型。通过初始BlendMask模型输出预测分割结果。采用Dice(戴斯)损失函数计算预测分割结果和训练标签之间的损失值。使用Adam(自适应矩估计)优化器对初始BlendMask模型的模型参数进行调整。重复上述过程,直至损失值达到预设阈值或者迭代次数达到预设次数,生成最终使用的BlendMask模型。通过使用BlendMask模型,可以融合高层次全局信息(如精子头部轮廓)和低层次的细粒度信息(如精子头部空泡)来提取更准确的精子实例分割特征,从而更精确地分割出各个精子。
步骤S908,通过精子局部分割模型对每张精子分割图像进行语义分割,得到精子头部的头部分割图像、精子颈部的颈部分割图像、精子尾部的尾部分割图像。
以下对精子局部分割模型的一种训练方式进行说明:
精子局部分割模型可以采用UNet模型。首先,获取多张单个精子图像样本,对每张单个精子图像样本进行标注,分别标注精子头部、精子颈部、精子尾部的边界轮廓。对每张单个精子图像样本的每个像素值除以255并进行归一化处理。然后,将处理后的单个精子图像样本输入至初始UNet模型,得到分割模型预测掩码。基于预测掩码和精子头部、精子颈部、精子尾部的边界轮廓标注信息计算加权交叉熵损失代价函数值。使用Adam优化器对初始UNet模型的模型参数进行调整。重复上述过程,直至损失代价函数值达到预设阈值或者迭代次数达到预设次数,生成最终使用的UNet模型。
步骤S910,通过各个精子局部对应的形态识别模型对各个精子局部的局部分割图像进行识别,得到各个精子局部的局部形态检测结果。
以下以精子头部为例对形态识别模型的一种训练方式进行说明:
形态识别模型可以采用上述图4所示的模型,或者采用ResNet等模型。首先,获取若干精子头部图像样本,以及与每张精子头部图像样本对应的分类标签。对每张精子头部图像样本除以255并进行归一化处理。接着,将处理后的精子头部图像样本输入至初始形态识别模型,获得预测分类结果。采用交叉熵损失函数计算预测分类结果和分类标签之间的损失代价函数值。使用Adam优化器对初始形态识别模型的模型参数进行调整。重复上述过程,直至损失值达到预设阈值或者迭代次数达到预设次数,生成最终用于识别精子头部形态的形态识别模型。
相应地,对于与精子颈部以及与精子尾部对应的形态识别模型,都可以参照上述精子头部的训练方式训练得到,在此不做具体阐述。
步骤S912,根据多个精子局部的局部形态检测结果,生成每帧精子形态图像中的单个精子的精子形态检测结果。
其中,对于每帧精子形态图像中的各个精子而言,当与各个精子对应的多个局部形态检测结果都为正常时,生成该个精子形态正常的检测结果;当与各个精子对应的多个局部形态检测结果中存在至少一个为异常,生成该个精子形态异常的检测结果。
步骤S914,根据同一个精子在多帧精子形态图像中的精子形态检测结果,生成同一个精子的精子形态检测结果。
具体地,当同一个精子在多帧精子形态图像中的精子形态检测结果都为异常时,生成该个精子形态异常的检测结果;当同一个精子在多帧精子形态图像中存在至少一个精子形态检测结果为正常时,生成该个精子形态正常的检测结果。
进一步地,终端可以统计多帧精子形态图像的精子形态检测结果,以及同一个精子在多帧精子形态图像中的单个精子图像等信息,并将统计得到的信息显示于屏幕中,以便用户分析使用。例如,共存在10个精子,那么可以将每个精子在每帧精子形态图像中的精子分割图像,以及对应的精子形态检测结果进行聚类并显示于屏幕中。
应该理解的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于上述所述的精子形态检测方法实施例的描述,本公开还提供精子形态检测装置。所述装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思,本公开实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似,因此本说明书实施例具体的装置的实施可以参见前述方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
在一个实施例中,如图10所示,提供了一种精子形态检测装置1000,包括:图像获取模块1002、位置检测模块1004、精子确定模块1006、形态检测模块1008、形态检测结果生成模块1010,其中:
图像获取模块1002,用于从待检测精子形态视频中获取连续多帧精子形态图像;位置检测模块1004,用于对每帧精子形态图像进行检测,当确定每帧精子形态图像中存在精子时,获取每帧精子形态图像中单个精子的位置检测结果;精子确定模块1006,用于根据每帧精子形态图像中单个精子的位置检测结果,确定多帧精子形态图像中的同一个精子;形态检测模块1008,用于对每帧精子形态图像中的单个精子进行精子形态检测,获取单个精子的精子形态检测结果;形态检测结果生成模块1010,用于根据同一个精子在多帧精子形态图像中的精子形态检测结果,生成同一个精子的精子形态检测结果。
在一个实施例中,形态检测模块1008,包括:图像分割单元,用于通过精子分割模型对每帧精子形态图像进行检测,当检测精子形态图像中存在精子时,从精子形态图像中分割得到单个精子的精子分割图像;形态识别单元,用于通过形态识别模型对精子分割图像进行分类识别,得到单个精子的精子形态检测结果。
在一个实施例中,所述装置还包括:局部图像分割模块,用于通过精子局部分割模型对精子分割图像进行语义分割,得到单个精子中多个精子局部的局部分割图像;在本实施例中,形态识别单元,包括:局部形态识别子单元,用于通过与各个精子局部对应的形态识别模型对各个精子局部的局部分割图像进行分类识别,得到各个精子局部的局部形态检测结果;形态检测结果生成子单元,用于根据多个精子局部的局部形态检测结果,生成单个精子的精子形态检测结果。
在一个实施例中,多个精子局部的局部分割图像包括精子头部图像、精子颈部图像、精子尾部图像中的至少一个。
在一个实施例中,形态识别模型包括依次连接的多个卷积部分,各个卷积部分包括卷积嵌入块和多个卷积变换块;形态识别单元,包括:特征提取子单元,用于依次通过各个卷积部分中的卷积嵌入块对精子输入特征进行特征提取,对于第一个卷积部分,精子输入特征为精子分割图像,对于除第一个卷积部分外的各个其他卷积部分,精子输入特征为上一个卷积部分输出的精子输出特征;信息学习子单元,用于通过各个卷积部分中的卷积变换块对特征提取后的精子输入特征进行全局信息学习和局部信息学习,得到精子输出特征;结果生成子单元,用于根据最后一个卷积部分输出的精子输出特征,生成单个精子的精子形态检测结果。
在一个实施例中,卷积嵌入块,包括依次连接的卷积层、形状变换层、第一归一化层;特征提取子单元,用于通过各个卷积部分中卷积嵌入块中的卷积层、形状变换层、第一归一化层对精子输入特征进行特征提取。
在一个实施例中,卷积变换块,包括卷积映射层、多头注意力层、多层感知机层、残差连接层、第二归一化层;信息学习子单元,用于通过卷积映射层、多头注意力层、多层感知机层、残差连接层、第二归一化层对特征提取后的精子输入特征进行全局信息学习和局部信息学习,得到精子输出特征。
在一个实施例中,位置检测模块1004,用于对每帧精子形态图像进行检测,当确定每帧精子形态图像中存在精子时,则确定每帧精子形态图像中单个精子中精子头部的头部位置信息,将头部位置信息作为单个精子的位置检测结果。
在一个实施例中,每帧精子形态图像中存在多个精子;精子确定模块1006,包括:位置信息获取单元,用于获取当前帧精子形态图像中各个精子的第一头部位置信息,以及当前帧的下一帧精子形态图像中各个精子的第二头部位置信息;距离生成单元,用于生成各个精子的第一头部位置信息与各个精子的第二头部位置信息之间的距离;目标位置确定单元,用于根据距离,从多个第二头部位置信息中确定出与各个第一头部位置信息对应的目标头部位置信息,将存在于第一头部位置信息中的精子,与存在于对应的目标头部位置信息中的精子作为同一个精子;精子确定单元,用于直至对多帧精子形态图像处理完毕,得到多帧精子形态图像中的同一个精子。
关于精子形态检测装置的具体限定可以参见上文中对于精子形态检测方法的限定,在此不再赘述。上述精子形态检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种精子形态检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述任一项实施例所述的精子形态检测方法。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一项实施例所述的精子形态检测方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种精子形态检测方法,其特征在于,所述方法包括:
从待检测精子形态视频中获取连续多帧精子形态图像;
对每帧精子形态图像进行检测,当确定每帧所述精子形态图像中存在精子时,获取每帧所述精子形态图像中单个精子的位置检测结果;
根据每帧所述精子形态图像中单个精子的位置检测结果,确定多帧所述精子形态图像中的同一个精子;
对每帧所述精子形态图像中的所述单个精子进行精子形态检测,获取所述单个精子的精子形态检测结果;
根据同一个精子在多帧所述精子形态图像中的精子形态检测结果,生成所述同一个精子的精子形态检测结果。
2.根据权利要求1所述的方法,其特征在于,所述对每帧所述精子形态图像中的所述单个精子进行精子形态检测,获取所述单个精子的精子形态检测结果,包括:
通过精子分割模型对每帧所述精子形态图像进行检测,当检测所述精子形态图像中存在精子时,从所述精子形态图像中分割得到单个精子的精子分割图像;
通过形态识别模型对所述精子分割图像进行分类识别,得到所述单个精子的精子形态检测结果。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
通过精子局部分割模型对所述精子分割图像进行语义分割,得到所述单个精子中多个精子局部的局部分割图像;
所述通过形态识别模型对所述精子分割图像进行分类识别,得到所述单个精子的精子形态检测结果,包括:
通过与各个所述精子局部对应的形态识别模型对各个所述精子局部的局部分割图像进行分类识别,得到各个所述精子局部的局部形态检测结果;
根据多个所述精子局部的局部形态检测结果,生成所述单个精子的精子形态检测结果。
4.根据权利要求3所述的方法,其特征在于,多个精子局部的局部分割图像包括精子头部图像、精子颈部图像、精子尾部图像中的至少一个。
5.根据权利要求2所述的方法,其特征在于,所述形态识别模型包括依次连接的多个卷积部分,各个所述卷积部分包括卷积嵌入块和多个卷积变换块;
所述通过形态识别模型对所述精子分割图像进行分类识别,得到所述单个精子的精子形态检测结果,包括:
依次通过各个卷积部分中的卷积嵌入块对精子输入特征进行特征提取,对于第一个卷积部分,所述精子输入特征为所述精子分割图像,对于除所述第一个卷积部分外的各个其他卷积部分,所述精子输入特征为上一个卷积部分输出的精子输出特征;
通过各个卷积部分中的卷积变换块对特征提取后的所述精子输入特征进行全局信息学习和局部信息学习,得到精子输出特征;
根据最后一个卷积部分输出的所述精子输出特征,生成所述单个精子的精子形态检测结果。
6.根据权利要求5所述方法,其特征在于,所述卷积嵌入块,包括依次连接的卷积层、形状变换层、第一归一化层;所述依次通过各个卷积部分中的卷积嵌入块对精子输入特征进行特征提取,包括:
通过各个所述卷积部分中卷积嵌入块中的所述卷积层、所述形状变换层、所述第一归一化层对精子输入特征进行特征提取。
7.根据权利要求5所述方法,其特征在于,所述卷积变换块,包括卷积映射层、多头注意力层、多层感知机层、残差连接层、第二归一化层;
所述通过各个卷积部分中的卷积变换块对特征提取后的所述精子输入特征进行全局信息学习和局部信息学习,得到精子输出特征,包括:
通过所述卷积映射层、所述多头注意力层、所述多层感知机层、所述残差连接层、所述第二归一化层对特征提取后的所述精子输入特征进行全局信息学习和局部信息学习,得到精子输出特征。
8.根据权利要求1所述的方法,其特征在于,所述对每帧精子形态图像进行检测,当确定每帧所述精子形态图像中存在精子时,获取每帧所述精子形态图像中单个精子的位置检测结果,包括:
对每帧所述精子形态图像进行检测,当确定每帧所述精子形态图像中存在精子时,则
确定每帧所述精子形态图像中所述单个精子中精子头部的头部位置信息,将所述头部位置信息作为所述单个精子的位置检测结果。
9.根据权利要求8所述的方法,其特征在于,每帧所述精子形态图像中存在多个精子;
所述根据每帧所述精子形态图像中单个精子的位置检测结果,确定多帧所述精子形态图像中的同一个精子,包括:
获取当前帧精子形态图像中各个所述精子的第一头部位置信息,以及所述当前帧的下一帧精子形态图像中各个所述精子的第二头部位置信息;
生成各个所述精子的第一头部位置信息与各个所述精子的第二头部位置信息之间的距离;
根据所述距离,从多个所述第二头部位置信息中确定出与各个所述第一头部位置信息对应的目标头部位置信息,将存在于所述第一头部位置信息中的精子,与存在于对应的所述目标头部位置信息中的精子作为同一个精子;
直至对多帧所述精子形态图像处理完毕,得到多帧所述精子形态图像中的同一个精子。
10.一种精子形态检测装置,其特征在于,所述装置包括:
图像获取模块,用于从待检测精子形态视频中获取连续多帧精子形态图像;
位置检测模块,用于对每帧精子形态图像进行检测,当确定每帧所述精子形态图像中存在精子时,获取每帧所述精子形态图像中单个精子的位置检测结果;
精子确定模块,用于根据每帧所述精子形态图像中单个精子的位置检测结果,确定多帧所述精子形态图像中的同一个精子;
形态检测模块,用于对每帧所述精子形态图像中的所述单个精子进行精子形态检测,获取所述单个精子的精子形态检测结果;
形态检测结果生成模块,用于根据同一个精子在多帧所述精子形态图像中的精子形态检测结果,生成所述同一个精子的精子形态检测结果。
11.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的精子形态检测方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的精子形态检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111038951.4A CN113780145A (zh) | 2021-09-06 | 2021-09-06 | 精子形态检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111038951.4A CN113780145A (zh) | 2021-09-06 | 2021-09-06 | 精子形态检测方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113780145A true CN113780145A (zh) | 2021-12-10 |
Family
ID=78841099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111038951.4A Pending CN113780145A (zh) | 2021-09-06 | 2021-09-06 | 精子形态检测方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113780145A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116863388A (zh) * | 2023-09-05 | 2023-10-10 | 青岛农业大学 | 一种基于神经网络的精子活力确定方法及系统 |
WO2024016812A1 (zh) * | 2022-07-19 | 2024-01-25 | 腾讯科技(深圳)有限公司 | 显微图像的处理方法、装置、计算机设备及存储介质 |
WO2024113443A1 (zh) * | 2022-11-28 | 2024-06-06 | 苏州博致医疗科技有限公司 | 一种准确测量活精子形态的方法 |
CN118196406A (zh) * | 2024-02-05 | 2024-06-14 | 南京大学 | 用于对图像进行分割处理的方法、装置及计算机可读介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107527028A (zh) * | 2017-08-18 | 2017-12-29 | 深圳乐普智能医疗器械有限公司 | 目标细胞识别方法、装置及终端 |
CN109540888A (zh) * | 2018-11-15 | 2019-03-29 | 捕精者(北京)生物技术有限公司 | 一种新型精子质量评价方法 |
WO2020037898A1 (zh) * | 2018-08-23 | 2020-02-27 | 平安科技(深圳)有限公司 | 人脸特征点检测方法、装置、计算机设备及存储介质 |
CN110866937A (zh) * | 2019-10-25 | 2020-03-06 | 深圳市瑞图生物技术有限公司 | 精子运动轨迹重建及分类方法 |
CN111243237A (zh) * | 2020-01-16 | 2020-06-05 | 珠海格力电器股份有限公司 | 溺水监测方法、设备、装置及存储介质 |
CN111291716A (zh) * | 2020-02-28 | 2020-06-16 | 深圳大学 | 精子细胞识别方法、装置、计算机设备和存储介质 |
CN111563550A (zh) * | 2020-04-30 | 2020-08-21 | 北京百度网讯科技有限公司 | 基于图像技术的精子形态检测方法和装置 |
CN112508955A (zh) * | 2021-02-08 | 2021-03-16 | 中国科学院自动化研究所 | 基于深度神经网络对活体细胞形态检测的方法及相关产品 |
CN112801967A (zh) * | 2021-01-21 | 2021-05-14 | 苏敬勇 | 一种精子形态分析方法和装置 |
-
2021
- 2021-09-06 CN CN202111038951.4A patent/CN113780145A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107527028A (zh) * | 2017-08-18 | 2017-12-29 | 深圳乐普智能医疗器械有限公司 | 目标细胞识别方法、装置及终端 |
WO2020037898A1 (zh) * | 2018-08-23 | 2020-02-27 | 平安科技(深圳)有限公司 | 人脸特征点检测方法、装置、计算机设备及存储介质 |
CN109540888A (zh) * | 2018-11-15 | 2019-03-29 | 捕精者(北京)生物技术有限公司 | 一种新型精子质量评价方法 |
CN110866937A (zh) * | 2019-10-25 | 2020-03-06 | 深圳市瑞图生物技术有限公司 | 精子运动轨迹重建及分类方法 |
CN111243237A (zh) * | 2020-01-16 | 2020-06-05 | 珠海格力电器股份有限公司 | 溺水监测方法、设备、装置及存储介质 |
CN111291716A (zh) * | 2020-02-28 | 2020-06-16 | 深圳大学 | 精子细胞识别方法、装置、计算机设备和存储介质 |
CN111563550A (zh) * | 2020-04-30 | 2020-08-21 | 北京百度网讯科技有限公司 | 基于图像技术的精子形态检测方法和装置 |
CN112801967A (zh) * | 2021-01-21 | 2021-05-14 | 苏敬勇 | 一种精子形态分析方法和装置 |
CN112508955A (zh) * | 2021-02-08 | 2021-03-16 | 中国科学院自动化研究所 | 基于深度神经网络对活体细胞形态检测的方法及相关产品 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024016812A1 (zh) * | 2022-07-19 | 2024-01-25 | 腾讯科技(深圳)有限公司 | 显微图像的处理方法、装置、计算机设备及存储介质 |
WO2024113443A1 (zh) * | 2022-11-28 | 2024-06-06 | 苏州博致医疗科技有限公司 | 一种准确测量活精子形态的方法 |
CN116863388A (zh) * | 2023-09-05 | 2023-10-10 | 青岛农业大学 | 一种基于神经网络的精子活力确定方法及系统 |
CN118196406A (zh) * | 2024-02-05 | 2024-06-14 | 南京大学 | 用于对图像进行分割处理的方法、装置及计算机可读介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020253629A1 (zh) | 检测模型训练方法、装置、计算机设备和存储介质 | |
CN112418117B (zh) | 一种基于无人机图像的小目标检测方法 | |
CN108470332B (zh) | 一种多目标跟踪方法及装置 | |
CN113780145A (zh) | 精子形态检测方法、装置、计算机设备和存储介质 | |
CN110781836A (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
CN113706481A (zh) | 精子质量检测方法、装置、计算机设备和存储介质 | |
CN114359787A (zh) | 目标属性识别方法、装置、计算机设备及存储介质 | |
CN112634369A (zh) | 空间与或图模型生成方法、装置、电子设备和存储介质 | |
CN112989962B (zh) | 轨迹生成方法、装置、电子设备及存储介质 | |
CN111340213B (zh) | 神经网络的训练方法、电子设备、存储介质 | |
KR20220004009A (ko) | 키 포인트 검출 방법, 장치, 전자 기기 및 저장 매체 | |
CN113095199B (zh) | 一种高速行人识别方法及装置 | |
CN111008576A (zh) | 行人检测及其模型训练、更新方法、设备及可读存储介质 | |
WO2021169642A1 (zh) | 基于视频的眼球转向确定方法与系统 | |
CN112634368A (zh) | 场景目标的空间与或图模型生成方法、装置及电子设备 | |
JP2010231254A (ja) | 画像解析装置、画像解析方法およびプログラム | |
CN115115825B (zh) | 图像中的对象检测方法、装置、计算机设备和存储介质 | |
CN112991280A (zh) | 视觉检测方法、系统及电子设备 | |
CN111738164A (zh) | 一种基于深度学习的行人检测方法 | |
CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 | |
Zhu et al. | Scene text relocation with guidance | |
CN114927236A (zh) | 一种面向多重目标图像的检测方法及系统 | |
KR102728564B1 (ko) | 검출 모델 훈련 방법과 장치, 컴퓨터 장치, 및 저장 매체 | |
CN112990145B (zh) | 一种基于组稀疏年龄估计方法及电子设备 | |
CN116777947B (zh) | 一种用户轨迹识别预测方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |