Nothing Special   »   [go: up one dir, main page]

CN112581504A - 基于神经网络的圈养家畜多目标追踪方法及装置 - Google Patents

基于神经网络的圈养家畜多目标追踪方法及装置 Download PDF

Info

Publication number
CN112581504A
CN112581504A CN202011562627.8A CN202011562627A CN112581504A CN 112581504 A CN112581504 A CN 112581504A CN 202011562627 A CN202011562627 A CN 202011562627A CN 112581504 A CN112581504 A CN 112581504A
Authority
CN
China
Prior art keywords
target
obj
network
tracking
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011562627.8A
Other languages
English (en)
Inventor
陈明
王丰
陶朝辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tongshenghong Data Co ltd
Original Assignee
Nanjing Tongshenghong Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tongshenghong Data Co ltd filed Critical Nanjing Tongshenghong Data Co ltd
Priority to CN202011562627.8A priority Critical patent/CN112581504A/zh
Publication of CN112581504A publication Critical patent/CN112581504A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于神经网络的圈养家畜多目标追踪方法及装置，方法包括以下步骤：建立多目标追踪模型，所述多目标追踪模型包括YOLOv3改进网络、连接过渡层和Deep Sort改进网络，所述YOLOv3改进网络增加了目标特征数据的获取，所述Deep Sort改进网络省略了表观特征提取的神经网络；获取已有圈养家畜目标位置的若干图像，作为训练数据集对多目标追踪模型进行训练；获取家畜待追踪视频，将视频的每一帧图像输入已经训练好的多目标追踪模型，实现每个家畜目标的追踪。本发明复杂度低，追踪准确率高，追踪速率高。

Description

基于神经网络的圈养家畜多目标追踪方法及装置
技术领域
本发明涉及计算机视觉人工智能技术领域，尤其涉及一种基于神经网络的圈养家畜多目标追踪方法及装置。
背景技术
利用计算机视觉技术对家畜进行管理逐渐成为基于人工智能畜牧业的核心技术。目前基于计算机视觉技术的家畜养殖在视频图像上仅能够获取家畜的位置、识别家畜的种类，不能够对视频中每一个家畜目标进行追踪。事实上，高效的AI家畜管理技术需要对家畜的运动特征进行持续捕捉与信息收集，宏观的目标定位与种类识别不能关注到个体家畜的健康状况。缺少多目标追踪的家畜AI管理带来了较高的家畜管理成本，不利于低成本的人工智能的家畜养殖的实现，高效的人工智能管理需要对监控视频中的动物目标进行运动与活跃状态的持续跟踪。传统的多目标追踪算法基于图片识别算法之上在时间复杂度性能与追踪准确率性能有所欠缺，使得基于实时视频的多目标追踪算法难以满足工业与实际的需求。
发明内容
发明目的：本发明针对现有技术存在的问题，提供一种复杂度低、准确率高的基于神经网络的圈养家畜多目标追踪方法及装置。
技术方案：本发明所述的基于神经网络的圈养家畜多目标追踪方法包括以下步骤：
建立多目标追踪模型，所述多目标追踪模型包括YOLOv3改进网络、连接过渡层和Deep Sort改进网络，所述YOLOv3改进网络包括YOLOv3网络和目标特征数据获取模块，所述YOLOv3网络输出为目标坐标数据，所述目标特征数据获取模块用于从YOLOv3网络中获取目标特征数据，所述目标坐标数据直接输入至Deep Sort改进网络，所述连接过渡层用于对目标特征数据进行平均池化处理和归一化处理得到目标的表观特征数据，并输入Deep Sort改进网络，所述Deep Sort改进网络省略了用于提取表观特征的深度卷积神经网络，从目标坐标数据中提取运动特征数据，并结合所述连接过渡层输出的表观特征数据进行目标匹配和追踪；
获取已有圈养家畜目标位置的若干图像，作为训练数据集对多目标追踪模型进行训练；
获取家畜待追踪视频，将视频的每一帧图像输入已经训练好的多目标追踪模型，实现每个家畜目标的追踪。
进一步的，所述目标特征数据获取模块获取目标特征数据的步骤具体包括：
根据目标坐标数据中被识别目标所在候选框位置信息，获取能够包含候选框的最小整格框，作为目标特征框；
在YOLOv3网络的特征提取网络中的目标特征采集层提取尺度为26×26×512的特征数据集；
在目标特征框所在位置找到特征数据集中对应的特征信息，将其作为目标特征数据Aobj。
进一步的，所述连接过渡层对所述目标特征数据的处理步骤具体包括：
平均池化处理：将尺度为P×Q×512的目标特征数据Aobj平均池化为1×1×512的一维数据aobj，其中aobj的第i个元素aobj(i)为：
Figure BDA0002859754980000021
式中，P表示目标特征数据的第一尺度的维数，Q表示目标特征数据第二尺度的维数，Aobj(s,j,i)表示Aobj中坐标为(s,j,i)的数据值；
归一化处理：对一维数据aobj进行L2归一化处理得到目标的表观特征数据a′obj，其中a′obj的第i个元素a′obj(i)为：
Figure BDA0002859754980000022
进一步的，所述Deep Sort改进网络进行目标匹配和追踪的步骤包括：
多特征融合的匈牙利目标匹配算法：利用Deep Sort中的卡尔曼滤波器从目标坐标数据中提取出运动特征数据，结合表观特征数据，通过匈牙利算法对图像中的目标进行ID匹配，从而实现追踪；
动物目标的运动信息与活跃状态信息：利用Deep Sort中的追踪算法对每个目标进行信息捕捉与计算，得到的运动信息包含每个目标的当前运动速度、总的运动距离以及活跃运动时间的信息。
进一步的，所述目标坐标数据具体为：
Iobj＝{xobj,yobj,wobj,hobj,tobj,sobj}
其中xobj,yobj,wobj,hobj分别代表被目标所在候选框的中心横坐标、纵坐标、候选框宽度以及候选框的高度；tobj,sobj分别代表目标的标签以及置信度。
本发明所述的基于神经网络的圈养家畜多目标追踪装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
有益效果：本发明与现有技术相比，其显著优点是：本发明采用了改进的YOLOv3+Deep Sort的网络架构，针对YOLOv3与Deep Sort的连接提出了一种全新的信息连接方式，即连接层，其能够加强YOLOv3识别到的信息的传输效率，从而提升基于视频的动物多目标追踪准确率。Deep Sort改进网络摒弃了传统Deep Sort算法中的深度神经网络，使得算法的时间复杂度降低，加快了整个网络的追踪速率，克服了传统追踪算法的低时效性，与传统的YOLOv3+Deep Sort追踪算法相比，复杂度低，且在追踪错误率上降低了21.72％，与此同时优化调整在追踪速率上提升了5.78％。
附图说明
图1是本发明中多目标追踪模型的结构示意图；
图2是本发明中YOLOv3网络的结构示意图；
图3是本发明中目标特征数据获取模块执行的流程示意图；
图4是本发明中平均池化处理的示意图；
图5是采用本发明对羊群视频的追踪效果示意图；
图6是是采用本发明对被遮挡目标恢复追踪的效果示意图。
具体实施方式
本实施例提供了一种基于神经网络的圈养家畜多目标追踪方法，包括以下步骤：
(1)建立多目标追踪模型。如图1所示，建立的多目标追踪模型包括YOLOv3改进网络、连接过渡层和Deep Sort改进网络。
现有的YOLOv3+Deep Sort追踪算法实时性和准确率有所欠缺，本实施例对YOLOv3和Deep Sort两个网络都进行了改进，且信息连接方式进行了优化调整。YOLOv3改进网络主要是增加了目标特征数据获取的过程，Deep Sort改进网络主要进行了简化表观特征数据的提取，进而实现对圈养家畜视频中的目标进行实时有效的跟踪。
①YOLOv3改进网络
所述YOLOv3改进网络包括YOLOv3网络和目标特征数据获取模块，这里的YOLOv3网络即为现有的传统经典YOLOv3网络，其网络结构如图2所示，YOLOv3网络仅仅向Deep Sort提供视频帧图像中包括目标的位置坐标信息以及目标标签信息的目标坐标数据，具体为：
Iobj＝{xobj,yobj,wobj,hobj,tobj,sobj}
其中xobj,yobj,wobj,hobj分别代表被目标所在候选框的中心横坐标、纵坐标、候选框宽度以及候选框的高度；tobj,sobj分别代表目标的标签以及置信度。本实施例的YOLOv3改进网络增加了目标特征数据获取模块，获取目标特征数据的步骤具体包括：根据目标坐标数据中被识别目标所在候选框位置信息，获取能够包含候选框的最小整格框，作为目标特征框，即在最终划分好的M×N格网的图像中找到一个最小的矩形框M1×N1格网框，如图3所示；如图2所示，在YOLOv3网络的特征提取网络中的目标特征采集层提取尺度为26×26×512的特征数据集；在目标特征框所在位置找到特征数据集中对应的特征信息，将其作为目标特征数据Aobj。如此，YOLOv3改进网络的输出为：
I′obj＝{xobj,yobj,wobj,hobj,tobj,sobj,Aobj}。
②连接过渡层
传统的YOLOv3+Deep Sort多目标追踪网络之间的连接属于数据直递型，即将YOLOv3网络输出的信息Iobj直接传输给Deep Sort网络。在本实施例中，为了有效利用I'obj中的特征数据，增添了连接过渡层，用于对目标特征数据进行平均池化处理和归一化处理得到目标的表观特征数据，如图4所示，具体处理过程包括：
平均池化处理：将尺度为P×Q×512的目标特征数据Aobj平均池化为1×1×512的一维数据aobj，其中aobj的第i个元素aobj(i)为：
Figure BDA0002859754980000041
式中，P表示目标特征数据第一尺度的维数，Q表示目标特征数据第二尺度的维数，Aobj(s,j,i)表示Aobj中坐标为(s,j,i)的数据值；
归一化处理：对一维数据aobj进行L2归一化处理得到目标的表观特征数据a′obj，其中a′obj的第i个元素a′obj(i)为：
Figure BDA0002859754980000051
③Deep Sort改进网络
传统的Deep Sort网络为了对视频不同帧图像间相同的目标进行匹配，采用的方法是对目标进行运动特征的提取以及表观特征的提取。其中运动特征的提取依赖目标的坐标信息，而表观特征的提取则是使用一个独立的深度卷积神经网络对目标在图片中的所在区域进行深度特征的提取。
本实施例中已经得到了目标的表观特征，且表观特征深度大于传统的独立的深度卷积神经网络所提取出的表观特征提取网络，因此，本发明中去除了Deep Sort网络中的表观特征深度卷积神经网络，直接从目标坐标数据中提取运动特征数据，并结合所述连接过渡层输出的表观特征数据进行目标匹配和追踪，匹配和追踪的步骤具体包括：多特征融合的匈牙利目标匹配算法：利用Deep Sort中的卡尔曼滤波器从目标坐标数据中提取出运动特征数据，结合表观特征数据，通过匈牙利算法对图像中的目标进行ID匹配，从而实现追踪；动物目标的运动信息与活跃状态信息：利用Deep Sort中的追踪算法对每个目标进行信息捕捉与计算，得到的运动信息包含每个目标的当前运动速度、总的运动距离以及活跃运动时间的信息。
(2)获取已有圈养家畜目标位置的若干图像，作为训练数据集对多目标追踪模型进行训练。
(3)获取家畜待追踪视频，将视频的每一帧图像输入已经训练好的多目标追踪模型，实现每个家畜目标的追踪。
本实施例还提供了一种基于神经网络的圈养家畜多目标追踪装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
对本发明进行验证，首先采集山羊数据集，对其进行优化训练。在进行目标追踪时，利用互联网传输并得到山羊养殖场的实时监控视频，并将实时视频输入训练好的神经网络，在终端得到识别结果，追踪识别结果示意图如图5和图6所示，图5是对羊群视频的追踪效果示意图，可以看出本发明能够很好地对羊群多目标进行追踪。图6是对被遮挡目标恢复追踪的效果示意图，可以看出在目标检测具有一定漏检率的情况下依然具有较好的弥补效果。
以上所揭露的仅为本发明一种较佳实施例而已，不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (6)

1.一种基于神经网络的圈养家畜多目标追踪方法，其特征在于包括以下步骤：
建立多目标追踪模型，所述多目标追踪模型包括YOLOv3改进网络、连接过渡层和DeepSort改进网络，所述YOLOv3改进网络包括YOLOv3网络和目标特征数据获取模块，所述YOLOv3网络输出为目标坐标数据，所述目标特征数据获取模块用于从YOLOv3网络中获取目标特征数据，所述目标坐标数据直接输入至Deep Sort改进网络，所述连接过渡层用于对目标特征数据进行平均池化处理和归一化处理得到目标的表观特征数据，并输入Deep Sort改进网络，所述Deep Sort改进网络省略了用于提取表观特征的深度卷积神经网络，从目标坐标数据中提取运动特征数据，并结合所述连接过渡层输出的表观特征数据进行目标匹配和追踪；
获取已有圈养家畜目标位置的若干图像，作为训练数据集对多目标追踪模型进行训练；
获取家畜待追踪视频，将视频的每一帧图像输入已经训练好的多目标追踪模型，实现每个家畜目标的追踪。
2.根据权利要求1所述的基于神经网络的圈养家畜多目标追踪方法，其特征在于：所述目标特征数据获取模块获取目标特征数据的步骤具体包括：
根据目标坐标数据中被识别目标所在候选框位置信息，获取能够包含候选框的最小整格框，作为目标特征框；
在YOLOv3网络的特征提取网络中的目标特征采集层提取尺度为26×26×512的特征数据集；
在目标特征框所在位置找到特征数据集中对应的特征信息，将其作为目标特征数据Aobj。
3.根据权利要求1所述的基于神经网络的圈养家畜多目标追踪方法，其特征在于：所述连接过渡层对所述目标特征数据的处理步骤具体包括：
平均池化处理：将尺度为P×Q×512的目标特征数据Aobj平均池化为1×1×512的一维数据aobj，其中aobj的第i个元素aobj(i)为：
Figure FDA0002859754970000011
式中，P表示目标特征数据的第一尺度的维数，Q表示目标特征数据的第二尺度的维数，Aobj(s,j,i)表示Aobj中坐标为(s,j,i)的数据值；
归一化处理：对一维数据aobj进行L2归一化处理得到目标的表观特征数据a′obj，其中a′obj的第i个元素a′obj(i)为：
Figure FDA0002859754970000021
4.根据权利要求1所述的基于神经网络的圈养家畜多目标追踪方法，其特征在于：所述Deep Sort改进网络进行目标匹配和追踪的步骤包括：
多特征融合的匈牙利目标匹配算法：利用Deep Sort中的卡尔曼滤波器从目标坐标数据中提取出运动特征数据，结合表观特征数据，通过匈牙利算法对图像中的目标进行ID匹配，从而实现追踪；
动物目标的运动信息与活跃状态信息：利用Deep Sort中的追踪算法对每个目标进行信息捕捉与计算，得到的运动信息包含每个目标的当前运动速度、总的运动距离以及活跃运动时间的信息。
5.根据权利要求1所述的基于神经网络的圈养家畜多目标追踪方法，其特征在于：所述目标坐标数据具体为：
Iobj＝{xobj,yobj,wobj,hobj,tobj,sobj}
其中xobj,yobj,wobj,hobj分别代表被目标所在候选框的中心横坐标、纵坐标、候选框宽度以及候选框的高度；tobj,sobj分别代表目标的标签以及置信度。
6.一种基于神经网络的圈养家畜多目标追踪装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现权利要求1-5中任意一项所述的方法。
CN202011562627.8A 2020-12-25 2020-12-25 基于神经网络的圈养家畜多目标追踪方法及装置 Pending CN112581504A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011562627.8A CN112581504A (zh) 2020-12-25 2020-12-25 基于神经网络的圈养家畜多目标追踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011562627.8A CN112581504A (zh) 2020-12-25 2020-12-25 基于神经网络的圈养家畜多目标追踪方法及装置

Publications (1)

Publication Number Publication Date
CN112581504A true CN112581504A (zh) 2021-03-30

Family

ID=75140555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011562627.8A Pending CN112581504A (zh) 2020-12-25 2020-12-25 基于神经网络的圈养家畜多目标追踪方法及装置

Country Status (1)

Country Link
CN (1) CN112581504A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882462A (zh) * 2022-05-27 2022-08-09 长安大学 一种道路环境多目标辨识与追踪的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859238A (zh) * 2019-03-14 2019-06-07 郑州大学 一种基于多特征最优关联的在线多目标跟踪方法
CN109919981A (zh) * 2019-03-11 2019-06-21 南京邮电大学 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法
CN110675430A (zh) * 2019-09-24 2020-01-10 中国科学院大学 一种基于运动和表观适应融合的无人机多目标跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919981A (zh) * 2019-03-11 2019-06-21 南京邮电大学 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法
CN109859238A (zh) * 2019-03-14 2019-06-07 郑州大学 一种基于多特征最优关联的在线多目标跟踪方法
CN110675430A (zh) * 2019-09-24 2020-01-10 中国科学院大学 一种基于运动和表观适应融合的无人机多目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LINH DANG等: "Object Tracking Using Improved Deep_Sort_YOLOv3 Architecture", RESEARCHGATE, 31 October 2020 (2020-10-31) *
ZHENGJUN QIU等: "Vision-Based Moving Obstacle Detection and Tracking in Paddy Field Using Improved Yolov3 and Deep SORT", SENSORS, 2 June 2020 (2020-06-02) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882462A (zh) * 2022-05-27 2022-08-09 长安大学 一种道路环境多目标辨识与追踪的方法及装置
CN114882462B (zh) * 2022-05-27 2025-01-28 长安大学 一种道路环境多目标辨识与追踪的方法及装置

Similar Documents

Publication Publication Date Title
CN111767849A (zh) 农作物病虫害识别方法、设备及存储介质
CN111259978A (zh) 一种融合多区域深度特征的奶牛个体身份识别方法
CN109522853A (zh) 面向监控视频的人脸检测与搜索方法
CN105809711A (zh) 一种基于视频追踪的猪只运动大数据提取方法及其系统
CN111950391A (zh) 果树芽体的识别方法及装置
Zhu et al. Identification of table grapes in the natural environment based on an improved Yolov5 and localization of picking points
CN110222630A (zh) 一种猪身份识别系统
Wang et al. Oestrus detection in dairy cows by using atrous spatial pyramid and attention mechanism
Shang et al. Cattle behavior recognition based on feature fusion under a dual attention mechanism
CN112581504A (zh) 基于神经网络的圈养家畜多目标追踪方法及装置
CN112861855A (zh) 基于对抗网络模型的群养猪实例分割方法
Xingshi et al. Light-weight recognition network for dairy cows based on the fusion of YOLOv5s and channel pruning algorithm.
Guo et al. Vision-based cow tracking and feeding monitoring for autonomous livestock farming: the YOLOv5s-CA+ DeepSORT-vision transformer
CN113221776B (zh) 一种基于人工智能对反刍动物一般行为识别的方法
Hu et al. Parallel channel and position attention-guided feature pyramid for pig face posture detection
Xu et al. Sheep counting method based on multiscale module deep neural network
Gong et al. An improved method for extracting inter-row navigation lines in nighttime maize crops using YOLOv7-tiny
CN117831120A (zh) 基于人体骨骼点运动特征的动作识别系统及方法
CN117132802A (zh) 一种田间小麦病虫害识别方法、装置及存储介质
Weng et al. Study on individual identification method of cow based on CD-YOLOv7
CN113269109B (zh) 基于视觉ai的猪只状态分析系统和方法
CN111476118B (zh) 一种动物行为自动识别方法及装置
CN112115888B (zh) 一种基于病斑相关性的植物病害诊断系统
CN109948445B (zh) 一种复杂背景下动作分类方法及分类系统
CN114494972A (zh) 一种结合通道选择与位置优化的目标跟踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination