Nothing Special   »   [go: up one dir, main page]

CN114119713A - 一种基于人工智能与无人机遥感的林地空秃检测方法 - Google Patents

一种基于人工智能与无人机遥感的林地空秃检测方法 Download PDF

Info

Publication number
CN114119713A
CN114119713A CN202111442274.2A CN202111442274A CN114119713A CN 114119713 A CN114119713 A CN 114119713A CN 202111442274 A CN202111442274 A CN 202111442274A CN 114119713 A CN114119713 A CN 114119713A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
area
forest land
bald
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111442274.2A
Other languages
English (en)
Inventor
蒋含笑
张显峰
李冬来
严超
杨清宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yanyi Technology Co ltd
Original Assignee
Shanghai Yanyi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yanyi Technology Co ltd filed Critical Shanghai Yanyi Technology Co ltd
Priority to CN202111442274.2A priority Critical patent/CN114119713A/zh
Publication of CN114119713A publication Critical patent/CN114119713A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于人工智能与无人机遥感的林地空秃检测方法，其包括：(S1)使用无人机在目标区域巡飞，实时收集位置信息和影像信息；(S2)将位置信息与林业小班规划范围线对比，判断无人机的位置和影像信息中的场景是否在范围线内，对范围线内的影像信息采用卷积神经网络进行识别，得到林地的空秃区域面积；(S3)根据空秃区域面积计算各林业小班的郁闭度。本方法可实时地识别林地空秃的情况，比起高光谱设备，可见光相机更加廉价且常用。因此可以将相关深度学习算法大范围部署，节约了成本。比起卫星遥感，此方案灵活性强、精度更高，且更适合上海的气候条件，在有利于林业部门及时执法。

Description

一种基于人工智能与无人机遥感的林地空秃检测方法
技术领域
本发明属于林业遥感领域，特别涉及一种基于人工智能与无人机遥感的林地空秃检测方法。
背景技术
传统林地空秃的监测主要有两种方式获取数据，其一为人工巡查，其二为卫星或者遥感高光谱影像采集，二者都需要后期依靠人力进行数据处理或者影像解译。
人工巡查通常需要大量人力，耗时也较长，而卫星和航空遥感受云量等天气因素影响大，灵活性低，分辨率不高。根据国家气象科学数据中心提供的数据，上海的年平均总云量为60％，年日平均总云量大于80％的天数(阴天)在120天左右，占一年的三分之一，给遥感观测造成一定困难，无人机则不受云量影响。
目前上海地区林业常用的航空影像分辨率为0.25米，难以满足精细化作业需求，尤其对于幼林的监测，0.25米的分辨率难以准确分辨树冠。而无人机影像分辨率一般为厘米级，挂载多重传感器的无人机配合RTK GNSS等设备能实现更多功能和更精准的监测。
上海地区遥感影像获取周期也仅为一年四次，监测频率和灵活性有待提高。无人机则相对灵活，可按需求周期性地对重点区域进行针对性监测。
在数据处理方面，常用的人工遥感影像解译常涉及正射处理，高光谱滤波处理等操作，数据的后处理周期较长。并且，高光谱设备易受光线影像，对作业的光照条件有一定限制。总体而言，现有技术判断林地空秃的实时性较低，且人工介入较多，依赖于人力。
发明内容
本发明的目的是提供一种基于人工智能与无人机遥感的林地空秃检测方法，该方法通过无人机实时视频流及实时二维正射模型，高效识别林地空秃、计算郁闭度，并设计备用方案，应对突发状况。
本发明的技术方案是，一种基于人工智能与无人机遥感的林地空秃检测方法，其包括：
(S1)使用无人机在目标区域巡飞，实时收集位置信息和影像信息；
(S2)将位置信息与林业小班规划范围线对比，判断无人机的位置和影像信息中的场景是否在范围线内，对范围线内的影像信息采用卷积神经网络进行识别，得到林地的空秃区域面积；
(S3)根据空秃区域面积计算各林业小班的郁闭度。
本发明的进一步在于，所述影像信息包括视频，视频向识别设备的传输与识别采用以下方式中的一种或多种的组合：
(1)无人机使用RTMP推流的方式图传视频至流处理服务器，云端拉流后，在识别设备部署的卷积神经网络实时识别空秃区域；
(2)采用嵌入式设备作为识别设备部署在无人机上，所述识别设备采用卷积神经网络对视频进行实时识别，并回传空秃区域的识别结果；
(3)无人机将录制的视频存储在机载存储设备中，在无人机回收后采用部署有卷积神经网络的识别设备对视频进行识别。
本发明的进一步在于，步骤(S2)中，卷积神经网络的识别结果包括林业小班的像素数目以及空秃区域的像素数目；计算空秃面积的过程中，根据空秃区域的像素数目以及视频影像地面分辨率确定空秃面积；其中，视频影像地面分辨率的获取步骤包括：
(S201)根据相机参数进行畸变矫正；
(S202)计算视频影像地面分辨率(GSD)，其表达式为：
H＝(imW×GSD×Fr)/(Sw×100)
其中：H为相对航高(米)，Fr为摄影镜头的焦距(毫米)，Sw为真实传感器宽度(毫米)，imW为图像宽度(像素)，GSD为影像的地面分辨率(厘米/像素)；相对航高根据无人机的位置信息进行确定。
本发明的进一步在于，所述影像信息包括照片，照片向识别设备的传输与识别采用以下方式中的一种或两种的组合：
(1)识别设备接收无人机回传的照片后对照片进行实时二维正射处理，在正射影像的基础上采用卷积神经网络辨别林地的空秃区域，并根据空秃区域的面积计算各林业小班的郁闭度；
(2)无人机将照片存储在机载存储设备中，在无人机回收后识别设备对照片进行二维正射处理，在正射影像的基础上采用卷积神经网络辨别林地的空秃区域，并根据空秃区域的面积计算各林业小班的郁闭度。
本发明的进一步在于，所述卷积神经网络为SOLOv2。
本发明的进一步在于，所述卷积神经网络的训练过程包括：
1)收集林地空秃的样本照片；
2)对照片进行人工识别和标注；
3)对标注的照片进行数据扩增，得到数据集；
4)将数据集分为训练集和测试集，采用训练集对卷积神经网络进行训练；
5)采用测试集对训练后的卷积神经网络进行验证。
本发明的进一步在于，所述数据扩增过程包括以下步骤：
a)多角度拍摄照片，对照片进行镜像翻转、平移、缩放、旋转、拉伸和变形；
b)对照片噪声添加；
c)对照片的亮度、对比度、饱和度进行随机调整与变换；
d)对照片进行背景增强；
e)加入正射处理后的影像；
f)使用对抗生成网络(DAGAN-GP)进行空秃区域的样本扩增，生成空秃图像。
本发明的有益效果为：本方法可实时地识别林地空秃的情况，比起高光谱设备，可见光相机更加廉价且常用。因此可以将相关深度学习算法大范围部署，节约了成本。比起卫星遥感，此方案灵活性强、精度更高，且更适合上海的气候条件，在有利于林业部门及时执法。
附图说明
图1是基于人工智能与无人机遥感的林地空秃检测方法的流程图。
具体实施方式
实施例1：如图1所示，本实施例提供一种基于人工智能与无人机遥感的林地空秃检测方法，其包括：
(S1)使用无人机在目标区域巡飞，实时收集位置信息和影像信息。位置信息由无人机的RTK模块进行获取，影像信息包括视频和图像，由无人机挂在的可见光摄像头进行拍摄。
(S2)将位置信息与林业小班规划范围线对比，判断无人机的位置和影像信息中的场景是否在范围线内，对范围线内的影像信息采用卷积神经网络进行识别，得到林地的空秃区域面积。
(S3)根据空秃区域面积计算各林业小班的郁闭度。
本实施例中，对于视频和照片采用不同的处理方式。
视频向识别设备的传输与识别采用以下方式中的一种或多种的组合：
(1)无人机使用RTMP推流的方式图传视频至流处理服务器，云端拉流后，在识别设备部署的卷积神经网络实时识别空秃区域；
(2)为减少数据传输量，采用嵌入式设备作为识别设备部署在无人机上，所述识别设备采用卷积神经网络对视频进行实时识别，并回传空秃区域的识别结果；
(3)为应对图传失联，无人机将录制的视频存储在机载存储设备中，在无人机回收后采用部署有卷积神经网络的识别设备对视频进行识别。
步骤(S2)中，卷积神经网络的对于视频的识别结果包括林业小班的像素数目以及空秃区域的像素数目；计算空秃面积的过程中，根据空秃区域的像素数目以及视频影像地面分辨率确定空秃面积；其中，视频影像地面分辨率的获取步骤包括：
(S201)根据相机参数进行畸变矫正；
(S202)计算视频影像地面分辨率(GSD)，其表达式为：
H＝(imW×GSD×Fr)/(Sw×100)
其中：H为相对航高(米)，Fr为摄影镜头的焦距(毫米)，Sw为真实传感器宽度(毫米)，imW为图像宽度(像素)，GSD为影像的地面分辨率(厘米/像素)；相对航高根据无人机的位置信息进行确定，在相机参数确定、相对航高已知的情况下，可根据上式求得影像地面分辨率(GSD)。影像地面分辨率(GSD)表示视频中每个像素代表的实际尺寸。
照片向识别设备的传输与识别采用以下方式中的一种或两种的组合：
(1)识别设备接收无人机回传的照片后对照片进行实时二维正射处理，在正射影像的基础上采用卷积神经网络辨别林地的空秃区域，并根据空秃区域的面积计算各林业小班的郁闭度；
(2)无人机将照片存储在机载存储设备中，在无人机回收后识别设备对照片进行二维正射处理，在正射影像的基础上采用卷积神经网络辨别林地的空秃区域，并根据空秃区域的面积计算各林业小班的郁闭度。
郁闭度为冠层的投影面积与林地面积之比，林区严重空秃判断标准为树冠投影占林地面积的20％以下，高于70％则容易发生冠层相连，不利于林地生态健康发展，因此如果郁闭度大于0.7或小于0.2时,即郁闭度超限或未达标的情况，自动生成工单。
本实施例中，卷积神经网络为SOLOv2。卷积神经网络的训练过程包括：
1)收集林地空秃的样本照片；
2)对照片进行人工识别和标注；
3)对标注的照片进行数据扩增，得到数据集；
4)将数据集分为训练集和测试集，采用训练集对卷积神经网络进行训练；
5)采用测试集对训练后的卷积神经网络进行验证。
本实施例中，数据扩增过程包括以下步骤：
a)多角度拍摄照片，对照片进行镜像翻转、平移、缩放、旋转、拉伸和变形；拍摄过程由无人机执行，拍摄的照片中包括空秃的林地；
b)对照片噪声添加；
c)对照片的亮度、对比度、饱和度进行随机调整与变换；
d)对照片进行背景增强；
e)加入正射处理后的影像；正射处理后的影像通常覆盖较大的区域，为了和照片一起使用，需要切片形成小区域的正射影像；
f)使用对抗生成网络(DAGAN-GP)进行空秃区域的样本扩增，生成空秃图像。对抗生成网络采用正射影像以及处理后的照片作为输入。扩增后的样本可通过人工标注作为卷积神经网络的训练数据。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (7)

1.一种基于人工智能与无人机遥感的林地空秃检测方法，其包括：
(S1)使用无人机在目标区域巡飞，实时收集位置信息和影像信息；
(S2)将位置信息与林业小班规划范围线对比，判断无人机的位置和影像信息中的场景是否在范围线内，对范围线内的影像信息采用卷积神经网络进行识别，得到林地的空秃区域面积；
(S3)根据空秃区域面积计算各林业小班的郁闭度。
2.根据权利要求1所述的一种基于人工智能与无人机遥感的林地空秃检测方法，其特征在于，所述影像信息包括视频，视频向识别设备的传输与识别采用以下方式中的一种或多种的组合：
(1)无人机使用RTMP推流的方式图传视频至流处理服务器，云端拉流后，在识别设备部署的卷积神经网络实时识别空秃区域；
(2)采用嵌入式设备作为识别设备部署在无人机上，所述识别设备采用卷积神经网络对视频进行实时识别，并回传空秃区域的识别结果；
(3)无人机将录制的视频存储在机载存储设备中，在无人机回收后采用部署有卷积神经网络的识别设备对视频进行识别。
3.根据权利要求2所述的一种基于人工智能与无人机遥感的林地空秃检测方法，其特征在于：步骤(S2)中，卷积神经网络的识别结果包括林业小班的像素数目以及空秃区域的像素数目；计算空秃面积的过程中，根据空秃区域的像素数目以及视频影像地面分辨率确定空秃面积；其中，视频影像地面分辨率的获取步骤包括：
(S201)根据相机参数进行畸变矫正；
(S202)计算视频影像地面分辨率，其表达式为：
H＝(imW×GSD×Fr)/(Sw×100)
其中：H为相对航高，Fr为摄影镜头的焦距，Sw为真实传感器宽度，imW为图像宽度，GSD为影像的地面分辨率；相对航高根据无人机的位置信息进行确定。
4.根据权利要求1所述的一种基于人工智能与无人机遥感的林地空秃检测方法，其特征在于，所述影像信息包括照片，照片向识别设备的传输与识别采用以下方式中的一种或两种的组合：
(1)识别设备接收无人机回传的照片后对照片进行实时二维正射处理，在正射影像的基础上采用卷积神经网络辨别林地的空秃区域，并根据空秃区域的面积计算各林业小班的郁闭度；
(2)无人机将照片存储在机载存储设备中，在无人机回收后识别设备对照片进行二维正射处理，在正射影像的基础上采用卷积神经网络辨别林地的空秃区域，并根据空秃区域的面积计算各林业小班的郁闭度。
5.根据权利要求1至4中任一所述的基于人工智能与无人机遥感的林地空秃检测方法，其特征在于：所述卷积神经网络为SOLOv2。
6.根据权利要求5所述的一种基于人工智能与无人机遥感的林地空秃检测方法，其特征在于，所述卷积神经网络的训练过程包括：
1)收集林地空秃的样本照片；
2)对照片进行人工识别和标注；
3)对标注的照片进行数据扩增，得到数据集；
4)将数据集分为训练集和测试集，采用训练集对卷积神经网络进行训练；
5)采用测试集对训练后的卷积神经网络进行验证。
7.根据权利要求5所述一种基于人工智能与无人机遥感的林地空秃检测方法，其特征在于，所述数据扩增过程包括以下步骤：
a)多角度拍摄照片，对照片进行镜像翻转、平移、缩放、旋转、拉伸和变形；
b)对照片噪声添加；
c)对照片的亮度、对比度、饱和度进行随机调整与变换；
d)对照片进行背景增强；
e)加入正射处理后的影像；
f)使用对抗生成网络进行空秃区域的样本扩增，生成空秃图像。
CN202111442274.2A 2021-11-30 2021-11-30 一种基于人工智能与无人机遥感的林地空秃检测方法 Pending CN114119713A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111442274.2A CN114119713A (zh) 2021-11-30 2021-11-30 一种基于人工智能与无人机遥感的林地空秃检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111442274.2A CN114119713A (zh) 2021-11-30 2021-11-30 一种基于人工智能与无人机遥感的林地空秃检测方法

Publications (1)

Publication Number Publication Date
CN114119713A true CN114119713A (zh) 2022-03-01

Family

ID=80368033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111442274.2A Pending CN114119713A (zh) 2021-11-30 2021-11-30 一种基于人工智能与无人机遥感的林地空秃检测方法

Country Status (1)

Country Link
CN (1) CN114119713A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095165A (zh) * 2023-08-08 2023-11-21 河东区志远苗木种植专业合作社 基于人工智能的林地空秃检测系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095165A (zh) * 2023-08-08 2023-11-21 河东区志远苗木种植专业合作社 基于人工智能的林地空秃检测系统
CN117095165B (zh) * 2023-08-08 2024-03-15 河东区志远苗木种植专业合作社 基于人工智能的林地空秃检测系统

Similar Documents

Publication Publication Date Title
WO2021142902A1 (zh) 基于DANet的无人机海岸线漂浮垃圾巡检系统
CN111765974B (zh) 一种基于微型制冷红外热像仪的野生动物观测系统及方法
CN106096604A (zh) 基于无人平台的多波段融合探测方法
CN111260539B (zh) 鱼眼图目标识别方法及其系统
CN110046584B (zh) 一种基于无人机巡检的道路裂纹检测装置及检测方法
CN113538702B (zh) 一种海洋养殖区水下场景全景图生成方法
CN110889327A (zh) 一种基于热红外图像的水域周边排污口智能检测方法
CN114973028B (zh) 一种航拍视频图像实时变化检测方法及系统
CN110288623B (zh) 无人机海上网箱养殖巡检图像的数据压缩方法
CN113591592B (zh) 水上目标识别方法、装置、终端设备及存储介质
CN112016478A (zh) 一种基于多光谱图像融合的复杂场景识别方法及系统
CN114693528A (zh) 无人机低空遥感图像拼接质量评估与降冗方法及系统
CN116205879A (zh) 一种基于无人机图像及深度学习的小麦倒伏面积估算方法
Wierzbicki et al. Method of radiometric quality assessment of NIR images acquired with a custom sensor mounted on an unmanned aerial vehicle
CN114170565A (zh) 一种基于无人机航拍的图像对比方法、装置及终端设备
CN110827375B (zh) 一种基于微光图像的红外图像真彩着色方法及系统
CN114119713A (zh) 一种基于人工智能与无人机遥感的林地空秃检测方法
CN112307992A (zh) 一种基于无人机可见光遥感的红树植物自动识别方法
CN112213244B (zh) 基于机器学习的机动车尾气林格曼黑度测量装置及方法
CN112613437B (zh) 一种违章建筑识别方法
CN112215714B (zh) 基于无人机的稻穗检测方法及装置
CN117095246A (zh) 基于偏振成像的深度学习指针仪表读数识别方法
Kalmukov et al. Methods for Automated Remote Sensing and Counting of Animals
CN114440835B (zh) 多特征和模型耦合的牧畜遥感监测方法、系统及存储介质
CN114863297A (zh) 一种目标车辆检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination