CN110211173A - 一种基于深度学习的古生物化石定位和识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的古生物化石定位和识别方法，通过建立化石图片分类标准库，使用标准库图片训练深度学习目标检测模型，实现化石图像自动定位和识别，可以有效辅助人类专家进行批量复杂化石鉴定工作，提高工作效率。本方法包括五个步骤：步骤1，建立古生物化石图像标准库，并对库中每张图像进行位置类别标注。步骤2，构建目标检测网络，加载预训练权重文件。步骤3，利用构建目标检测网络训练标注化石图像。步骤4，对训练出的网络模型进行模型测试评估。步骤5，使用最终训练模型对实际古生物化石图像进行定位和识别。实现图像或视频内多个化石个体的自动框选定位和分类识别，识别精度高。

Description

一种基于深度学习的古生物化石定位和识别方法

技术领域

本发明涉及古生物化石识别领域，特别是一种应用在古生物化石的框选定位和种类识别方法。

背景技术

目前，在古生物化石领域的科技研究项目，多集中在古生物化石拓片制作，古生物化石三维重建，以及古生物化石图像修复等领域。而对于古生物化石的分类方法领域，研究成果却是寥寥。而对于古生物化石的分类，又恰恰是推进古生物化石科研发展的重要环节。

国内部分学者应用计算机技术对古生物化石分类已进行了的工作包括：采用SIFT算法作为古生物化石图像识别的基本算法,利用古生物化石图像中的特征点进行匹配识别,并针对SIFT算法实时性较低的问题对其进行改进,实现对古生物化石图像的识别。采用收集多个化石大类图片的方式，使用多种神经网络模型的尝试对化石图片识别，使用VGG16在化石大类数据集上处理多分类问题。

通过计算机深度学习，从而实现图形识别的技术在很多领域得到了应用，如基于深度学习的虹膜识别方法，基于深度学习的车牌识别方法等。虽然，基于深度学习的识别方法，通常是通过采集训练样本；构建网络模型；训练网络模型并构建检测模型；检测及定位来实现的。但是，古生物化石领域有别于一般的生活和生产领域，古生物化石领域的样本并不规则，大多数样本类型也并不具有强典型性，同时，不同种类多个化石标本聚集在一起，传统图像识别技术对这种图片或视频识别错误率高，也无法框选定位一个化石个体。基于以上原因，自然也就鲜有研究人员使用深度学习技术在古生物化石识别领域。

对化石标本的研究，是古生物学的重要研究内容。在化石鉴定的过程中进行准确的系统分类，有助于建立可靠的地质时间标尺。生物化石的古生态研究是重建地史时期古地理、古气候的重要依据。这对于现代古生物学乃至地质学的研究，都是很有意义的。但是传统的古生物系统分类对人类专家的依赖性很强，对专业知识和长时间的经验积累要求很高。但是目前传统的古生物系统分类仍依靠人类专家进行识别，同时此项工作非常耗时，且工作人员在疲惫状态下，存在难以避免的误差。因此，非常有必要通过研发智能识别方法，推动此领域发展。

发明内容

本发明公开了一种基于深度学习的古生物化石定位和识别方法，可对复杂古生物化石标本图像或视频进行自动检测，实现同一画面内多个化石个体的自动框选定位和分类识别。

本发明目的在于提供一种基于深度学习的古生物化石定位和识别方法，通过建立标准的古生物化石图片分类标准库，并进行分类和位置标注，使用化石图片分类标准库的图片对深度学习目标检测模型进行训练。使用训练好的化石目标检测模型可以自动对复杂古生物化石标本图像或视频进行自动检测，实现同一图像内多个化石个体的自动框选定位和分类识别。每秒可识别多张化石图片，识别精度高。可以有效辅助人类专家进行批量复杂化石鉴定工作，提高工作效率。

对于本技术而言，虽然通过计算机深度学习，进行图形识别的技术已在很多领域得到了应用，但是，古生物化石领域有别于一般的生活和生产领域，古生物化石领域的样本并不规则，大多数样本类型也并不具有强典型性，同时，不同种类多个化石标本聚集在一起，传统图像识别技术对这种图片或视频识别错误率高，也无法框选定位一个化石个体。因此，很多地质领域的科研人员虽产生过类似的设计思路，但由于上述现实问题，最终都放弃了，没有形成技术方案。可以说，本设计方案的产生是本领域的发明人所难以想到的，却又对推动现代古生物学乃至地质学的研究，有着重要的意义的。

本发明具体步骤如下：

步骤1，建立古生物化石图像标准库，并对库中每张图像进行位置类别标注。

建立准确的古生物化石系统分类文件，为每个类别尽可能多的收集整理高质量的化石图像，建立古生物化石图像标准库。利用人工手段按照VOC数据集标准把每一个化石个体的类别和它在每张图片上的位置标示出来，每张图片生成一个标注文件。

步骤2，构建目标检测网络，并根据需要加载预训练权重文件。

目标检测网络通常为复杂深度网络结构，本次实例中目标检测网络选择的是YOLOV3，其网络结构包含53个卷积层。如果直接使用自己的训练集对网络进行训练，时常会使网络陷入局部最优，网络进行BP反向传播时易产生梯度扩散问题，引起过拟合现象，导致网络收敛困难，无法达到预期效果。

所以在本发明中，我们选择首先冻结YOLO V3的两个输出层，再加载预先对MS-COCO数据集已经训练完成的YOLO V3网络权重文件，使预训练的模型参数迁移到目标YOLOV3神经网络模型上，使目标卷积神经网络模型获得一个较好的初始化参数值。在此基础上，对目标任务进行继续训练。因为，化石图片数据集相对于MS-COCO这种预训练数据集，具有数据规模较小和数据相似性较高的特点。这种情况进行迁移学习，冻结若干输出层再加载预训练权重文件，这样训练时往往效果比较好。

步骤3，利用搭建好的网络结构训练标注化石图像，得到化石图像目标检测的网络模型。

按照经验初始化网络待训练参数，向初始化后的网络中输入训练样本数据进行网络前向传播，得到实际的输出结果通过损失函数和反向传播BP算法进行反馈调整网络参数。这个过程进行多次迭代训练，迭代至损失函数的损失值降至设定阈值或迭代次数达到最大迭代次数时结束训练，得到用于化石图像目标检测的网络模型。

步骤4，对训练出的网络模型进行模型测试评估。

利用测试样本集对网络模型进行测试，得到检测图片中目标的位置和类别。通过控制网络模型输出的识别框(bounding box)的识别概率(score)和正交比(IoU)等参数调整识别结果，把模型输出结果调整到最优。

人工观察模型输出结果，如果无法达到预期效果，返回步骤3，重新调整网络参数进行模型迭代训练，直至测试样本集在最终训练模型输出结果达到预期要求。

步骤5，使用最终训练模型对实际古生物化石图像进行目标检测。

实际应用中，待检测的古生物化石图像，可以通过步骤4得到的最终训练模型，快速生成以原始图像为底图，上面叠加化石定位图框和类别信息的图像或视频文件结果。视频可以连续截取关键帧图像通过目标检测模型进行定位识别，图像结果再组合成视频输出。

优选的，对于步骤1，在数据量有限的情况下，可以通过曝光度、色调与饱和度、图像翻转等数据增强手段来增加训练样本的多样性和平衡性，提高模型鲁棒性，最终形成用于检测模型训练的古生物化石图像集。

优选的，对于步骤1，通过人工按照VOC数据集标准对化石图像进行整理。

优选的，对于步骤2，目标检测网络通常为复杂深度网络结构，本次使用的YOLO V3网络结构包含了53个卷积层。

优选的，对于步骤2，所述预训练权重文件经过提前使用MS-COCO数据集

对YOLO V3进行训练得到。

优选的，对于步骤2，在加载预训练权重文件时，首先冻结YOLO V3的若

干输出层。

优选的，对于步骤4当中，返回步骤3，重新调整网络参数进行模型迭代训练的次数可设置限制，直至测试样本集在最终训练模型输出结果达到预期要求。

优选的，对于步骤5，使用最终训练模型对实际古生物化石进行目标检测，

视频可以连续截取关键帧图像进行定位识别，图像结果再组合成视频。

优选的，对于步骤5，本方法技术可以扩展应用于对岩石图像中矿物的定位和识别。

本发明实施例提供的技术方案带来的有益效果是：通过建立标准的古生物化石图片分类标准库，并进行分类和位置标注，使用化石图片分类标准库的图片对深度学习目标检测模型进行训练。使用训练好的化石目标检测模型可以自动对复杂古生物化石标本图像或视频进行自动检测，实现同一图像内多个化石个体的自动框选定位和分类识别。每秒可识别多张化石图片，识别精度高。可以有效辅助人类专家进行批量复杂化石鉴定工作，提高工作效率。

附图说明

图1是本发明基于深度学习的古生物化石定位和识别方法的逻辑示意图。

图2是本发明目标检测中产生的识别框与原标记框的交叠率算法。

图3是本发明目标检测模型定位识别示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。显然，所描述的实施例实际上仅仅是说明性的或者示例性的，决不作为对本发明及其应用或使用的任何限制。在下面的详细描述中，提出了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说很明显的是，本发明可以在不需要这些具体细节中的全部细节均已了解的情况下实施。下面对实施例的描述仅仅是为了通过展示本发明的示例来提供对本发明的更好的理解。本发明决不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了元素、部件和算法的任何修改、替换和改进。

本方法通过对构建好的古生物化石标准库图片中每个化石个体进行位置和种类进行标识生成labels标记文件，再把化石标准库图片和labels标记文件输入目标检测模型进行训练，经过反复调节各项训练参数并进行迭代训练，最终使目标检测模型识别误差达到要求范围内。使用训练好的化石目标检测模型可以自动对复杂古生物化石标本图像或视频进行自动检测，实现同一图像内多个化石个体的自动框选定位和分类识别，下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，本发明实施例提供的一种基于深度学习的古生物化石目标检测方法的逻辑示意图。

步骤1(S1)，建立古生物化石图像标准库，并对库中每张图像进行位置类别标注。

建立准确的古生物化石系统分类，为每个类别尽可能多的收集整理高质量的化石图像，建立古生物化石图像标准库。在数据量有限的情况下，可以通过调整图像的曝光度、色调与饱和度以及图像水平或垂直翻转，随机角度旋转等数据增强手段来增加训练样本的多样性和平衡性，提高模型鲁棒性，最终形成用于检测模型训练的古生物化石图像集。按照VOC数据集标准对化石图像进行整理，创建命为Annotations、ImageSets、JPEGImages的三个文件夹，其中在ImageSets文件夹下生成一个子文件夹--Main文件夹；将所有参与训练的化石图片数据存放在JPEGImages文件夹中；使用LabelImg软件人工对化石图片数据进行标注，即标出目标的类别和位置信息，将标注信息保存为同名的.xml格式文件，存放至Annotations文件夹中；将已有数据按比例生成训练样本集和测试样本集，生成train.txt和test.txt文件，里面存放训练样本集和测试样本集的绝对路径信息，将.txt文件放至ImageSets文件夹下的Main文件夹中。

步骤2(S2)，构建目标检测网络，并根据需要加载预训练权重文件。

目标检测网络通常为复杂深度网络结构，本次实例使用的YOLO V3网络包含了53个卷积层。如果直接使用自己的训练集对网络进行训练，时常会使网络陷入局部最优，网络进行BP反向传播时易产生梯度扩散问题，引起过拟合现象，导致网络收敛困难，无法达到预期效果。此外，由于人工收集的训练集数量有限，在实际应用中又需要网络有强鲁棒性与泛化能力，根据深度学习经验，图片数据往往拥有相似的基本特征，使用其他大数据集训练效果好的网络参数文件迁移到目标任务上，作为预训练的初始模型，将大大提高实际模型训练的收敛速度和识别精度。

所以在本发明中，我们首先将冻结YOLO V3的两个输出层，再加载预先对MS-COCO数据集已经训练完成的YOLO V3网络权重文件，使预训练权重文件迁移到YOLO V3网络模型上，使目标检测网络模型获得一个较好的初始化参数值。在此基础上，对目标任务进行继续训练。原理在于，化石图片数据集相对于MS-COCO这种预训练数据集，具有数据规模较小和数据相似性较高的特点。这种情况进行迁移学习，冻结若干输出层再加载预训练权重文件，这样训练时往往效果比较好。

步骤3(S3)，利用搭建好的网络结构训练标注化石图像。

初始化网络待训练参数，向初始化后的网络中输入训练样本数据进行网络前向传播，得到实际的输出结果通过损失函数结合反向传播BP算法进行反馈调整网络参数，进行迭代训练，迭代至损失函数的损失值降至设定阈值或迭代次数达到最大迭代次数时结束训练，得到用于化石图像目标检测的网络模型。

步骤4(S4)，对训练出的网络模型进行模型测试评估。

利用测试样本集对网络模型进行测试，得到检测图片中目标的位置和类别。通过控制网络模型输出的识别框(bounding box)的识别概率(score)和正交比(IoU)等参数调整识别结果，把模型输出结果调整到最优。本次实例识别概率和正交比均设为0.5。

交并比(IoU)如图2所示，目标检测中使用的一个概念，是产生的识别框与原标记框的交叠率，即它们的交集与并集的比值。最理想情况是完全重叠，即比值为1。

人工观察模型输出结果，如果无法达到预期效果，返回步骤3，重新调整网络参数进行模型迭代训练，直至测试样本集在最终训练模型输出结果达到预期要求。

步骤5(S5)，使用最终训练模型对实际古生物化石图像进行目标检测。

实际应用中，待检测的古生物化石图像，可以通过步骤4得到的最终训练模型，快速生成以原始图像为底图，用程序在原始底图上面叠加每个化石定位图框和类别信息的图像或视频文件结果。如图3所示，视频可以连续截取关键帧图像通过目标检测模型进行定位识别，图像结果再组合成视频输出。

使用本方法建立了贵州关岭生物群古生物化石标准库并进行标注，使用YOLOV3目标检测模型进行训练，经过参数优化使模型训练结果达到预定识别精度。最终模型可对多种类混杂贵州关岭生物群古生物化石图片和视频自动识别，框选定位和识别每个化石个体种类。

除非另作定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明专利发明说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。

以上所述仅为本发明的示例实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的古生物化石定位和识别方法，其特征在于，包括：

步骤1，建立古生物化石图像标准库，并对库中每张图像进行位置类别标注；

步骤2，构建目标检测网络，并根据需要加载预训练权重文件；

步骤3，利用搭建好的网络结构训练标注化石图像，得到化石图像目标检测的网络模型；

步骤4，对训练出的网络模型进行模型测试评估，该步骤中，利用测试样本集对网络模型进行测试得到检测图片中目标的位置和类别，通过控制网络模型输出的识别框的识别概率和正交比参数来评估网络模型的输出结果；

步骤5，使用最终训练模型对实际古生物化石图像或视频进行目标检测，生成以原始图像为底图，在底图上面叠加化石定位图框和类别信息的图像或视频文件结果。

2.根据权利要求1所述的基于深度学习的古生物化石定位和识别方法，其特征在于，对于步骤1，建立的古生物化石图像标准库，利用数据增强手段进行图像调整。

3.根据权利要求2所述的基于深度学习的古生物化石定位和识别方法，其特征在于，所述数据增强手段包括调整图像的曝光度、色调与饱和度以及图像水平或垂直翻转或随机角度旋转。

4.根据权利要求1至3所述的基于深度学习的古生物化石定位和识别方法，其特征在于，对于步骤1，利用人工手段按照VOC数据集标准对每张图像标注化石个体的位置和类别信息。

5.根据权利要求4所述的基于深度学习的古生物化石定位和识别方法，其特征在于，所述步骤2当中，本次实例中目标检测网络选择的是YOLO V3，其网络结构包含53个卷积层。

6.根据权利要求5所述的基于深度学习的古生物化石定位和识别方法，其特征在于，对于步骤4，如果模型输出结果无法达到预期效果，返回步骤3，重新调整网络参数进行模型迭代训练。

7.根据权利要求6所述的基于深度学习的古生物化石定位和识别方法，其特征在于，对于步骤2，所述预训练权重文件经过提前使用MS-COCO数据集对YOLO V3进行训练得到。

8.根据权利要求7所述的基于深度学习的古生物化石定位和识别方法，其特征在于，对于步骤2，在加载预训练权重文件时，首先冻结YOLO V3的若干输出层。

9.根据权利要求4所述的基于深度学习的古生物化石定位和识别方法，其特征在于，所述步骤4，利用测试样本集对网络模型进行测试，通过控制网络模型输出的识别框的识别概率和正交比参数调整识别结果，得到检测图片中目标的位置和类别。

10.根据权利要求8所述的基于深度学习的古生物化石定位和识别方法，其特征在于，对于步骤5，使用最终训练模型对实际古生物化石进行目标检测，视频可以连续截取关键帧图像进行定位识别，图像结果再组合成视频。