Nothing Special   »   [go: up one dir, main page]

CN112102394B - 基于深度学习的遥感图像舰船尺寸一体化提取方法 - Google Patents

基于深度学习的遥感图像舰船尺寸一体化提取方法 Download PDF

Info

Publication number
CN112102394B
CN112102394B CN202010979653.4A CN202010979653A CN112102394B CN 112102394 B CN112102394 B CN 112102394B CN 202010979653 A CN202010979653 A CN 202010979653A CN 112102394 B CN112102394 B CN 112102394B
Authority
CN
China
Prior art keywords
ship
remote sensing
sensing image
model
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010979653.4A
Other languages
English (en)
Other versions
CN112102394A (zh
Inventor
任沂斌
李晓峰
高乐
张旭东
刘颖洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Oceanology of CAS
Original Assignee
Institute of Oceanology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Oceanology of CAS filed Critical Institute of Oceanology of CAS
Priority to CN202010979653.4A priority Critical patent/CN112102394B/zh
Publication of CN112102394A publication Critical patent/CN112102394A/zh
Application granted granted Critical
Publication of CN112102394B publication Critical patent/CN112102394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的遥感图像舰船尺寸一体化提取方法,构建遥感图像舰船尺寸训练集:获取遥感数据并进行预处理,获取AIS船舶数据,将该两组数据相结合建立遥感图像中的舰船尺寸训练集;构建基于深度学习的遥感图像舰船尺寸一体化提取模型;模型训练:用S1构建的训练集对S2中构建的模型进行训练,将训练好的模型应用于新遥感图像的舰船尺寸提取中。本发明简化了传统的舰船长、宽提取方式,实现从遥感图像中直接提取舰船的长和宽信息,提高了遥感图像舰船长、宽信息提取的效率和精度,且提取误差控制在单个像素级别。

Description

基于深度学习的遥感图像舰船尺寸一体化提取方法
技术领域
本发明属于海洋观测和图像提取技术领域,具体涉及一种基于深度学习的遥感图像舰船尺寸一体化提取方法。
背景技术
舰船是海上的重要目标,发展舰船监测对于海洋经济、海洋安全、海洋环境等具有重要意义。卫星遥感具有范围大、时序长、稳定性高等优势,利用卫星图像进行舰船检测的研究一直是海洋遥感领域的热点。舰船的长度和宽度是进行舰船分类的基础和关键。因此,研究遥感图像舰船尺寸反演具有重要意义。
遥感图像的舰船尺寸提取可以分为二值化、目标的精细化图像处理和高精度几何参数估计三个步骤。二值化是对遥感图像进行检测,将遥感图像分为舰船和非舰船两类,常用方法包括恒虚警率(Constant False Alarm Rate,CFAR)、小波变换、阈值分割等方法。目标的精细化图像处理和高精度几何参数估计是在二值化遥感图像基础上,通过图像处理或机器学习方法对舰船几何参数进行精确估计。例如,2016年Stasolla M.等采用数学形态学方法在经CFAR处理获得的图像基础上,精确地提取舰船的最小外包矩形,从而估计舰船的长宽尺寸。该方法在具有127个船样本的Sentinel-1数据上测试,长和宽的均方根误差分别为30米(16%)和11米(37%)。同年,Lang H.等通过Radon变换提取舰船的最小外接矩形,进一步提取长和宽参数,并应用在舰船分类中。机器学习方面,2008年,张晰在初步提取舰船长宽尺寸的基础上,运用多项式和神经网络拟合精确的舰船尺寸,平均绝对误差达到14.5米。2018年,Li B.等基于Sentinel-1的大样本量舰船库OpenSARShip(舰船目标多余1万个),对图像进行处理,初步获得长宽参数,进一步融合双极化下的环境和目标的散射信息、传感器信息构建非线性回归模型,从而实现对舰船长宽尺寸的精确估计。
现有遥感舰船尺寸提取模型需要二值化、精细化、参数估计等多个复杂步骤,缺少从遥感图像到舰船尺寸的一体化提取模型。
发明内容
本发明提供了一种基于深度学习的遥感图像舰船尺寸一体化提取方法,以弥补现有技术的不足。
为达到上述目的,本发明采取的具体技术方案为:
一种基于深度学习的遥感图像舰船尺寸一体化提取方法,该方法包括以下步骤:
S1:构建遥感图像舰船尺寸训练集:获取遥感数据并进行预处理,获取AIS船舶数据,将该两组数据相结合建立遥感图像中的舰船尺寸训练集;
S2:构建基于深度学习的遥感图像舰船尺寸一体化提取模型;
S3:模型训练:用S1构建的训练集对S2中构建的模型进行训练,将训练好的模型应用于新遥感图像的舰船尺寸提取中。
进一步的,所述提取方法还包括S4:模型测试,对S3训练好的模型进行精度测试,评估模型效果。
进一步的,所述S1中对遥感数据进行辐射校正、几何校正等预处理。
进一步的,所述S2中,包括以下步骤:
1.舰船外包矩形初步提取模型
以深度神经网络Faster RCNN为基础,在目标外接矩形生成网络(RegionProposal Network,RPN)中增加方位角,生成旋转的舰船外接矩形(Rotated-RPN),建立旋转的深度神经网络Rotated Faster RCNN;基于Rotated Faster RCNN识别遥感图像中舰船的旋转最小外包矩形(Rotated Minimum Bounding Rectangle,RMBR),初步获得舰船的长和宽尺寸,即形成舰船外包矩形初步提取模型;
2.舰船长、宽尺寸精确估计模型
以初提舰船长宽信息、遥感图像空间信息和遥感图像背景环境信息为输入,基于深层神经网络(选取深层全连接神经网络)构建对舰船的长、宽尺寸精确估计模型;
3.模型连接
将舰船外包矩形提取模型与舰船长、宽尺寸精确估计模型连接,形成基于深度学习的遥感图像舰船长、宽提取一体化模型。对模型进行训练,得到最优模型参数组合。
进一步的,所述S2中,原始遥感图像通过卷积神经网络(Convolution NeuralNetwork,CNN)对遥感图像进行Embedding,通过定义池化层来保留遥感图像中的背景信息,将Embedding后的信息,包括遥感图像空间信息和遥感图像背景环境信息,输入深度神经网络中;初步提取的舰船的长和宽尺寸也输入到深层神经网络中,经过神经网络变化得到舰船的精确长宽尺寸,从而形成舰船长、宽尺寸精确估计模型。
进一步的,所述S3中,多次迭代训练,直至S2中模型的所有可训练参数(CNN权重、全连接神经网络权重)达到最优。
本发明的优点和有益效果:
本发明耦合深度学习方法从原始遥感图像中提取特征,建立遥感图像与舰船几何参数的复杂映射关系,构建从遥感图像到舰船尺寸的“端到端”提取模型,实现舰船尺寸的一体化提取,提高遥感图像舰船尺寸提取的效率和精度。
本发明简化了传统的舰船长、宽提取方式,实现从遥感图像中直接提取舰船的长和宽信息,提高了遥感图像舰船长、宽信息提取的效率和精度,且提取误差控制在单个像素级别。
附图说明
图1为本发明的技术路线图。
图2为实施例2中的舰船尺寸提取效果图。
具体实施方式
以下通过具体实施例并结合附图对本发明进一步解释和说明。
实施例1:
一种基于深度学习的遥感图像舰船尺寸一体化提取方法,该方法包括以下步骤:
S1:构建遥感图像舰船尺寸训练数据集:获取遥感数据,对遥感数据进行辐射校正、几何校正等预处理;获取AIS船舶数据,建立遥感图像中的舰船长、宽尺寸真值训练数据集。
S2:构建基于深度学习的遥感图像舰船尺寸一体化提取模型,如图1所示,具体为:
1.舰船外包矩形初步提取模型
利用深度神经网络Faster RCNN 从遥感图像中提取舰船的最小外包矩形;为更精确地的提取外包矩形,改进传统Faster RCNN网络结构,在目标外接矩形生成网络(RegionProposal Network,RPN)中增加方位角,生成旋转的舰船外接矩形(Rotated-RPN);基于Rotated Faster RCNN识别遥感图像中舰船的旋转最小外包矩形(Rotated MinimumBounding Rectangle,RMBR),初步获得舰船的长和宽尺寸,形成舰船外包矩形初步提取模型。
2.舰船长、宽尺寸精确估计模型
以初提长宽信息、遥感图像空间信息和遥感图像背景环境信息为输入,构建深层神经网络模型对舰船的精确长、宽尺寸进行精确估计。海洋背景环境要素通过影响遥感成像质量从而影响舰船几何参数提取。因此,原始遥感图像也作为输入,并通过卷积神经网络(Convolution Neural Network,CNN)对遥感图像进行Embedding,通过定义池化层来保留遥感图像中的背景信息,将Embedding后的信息输入深度神经网络中。初步提取的几何参数也输入到深层神经网络中。最终,深层神经网络中综合了初提长、宽信息,遥感图像信息和背景环境信息,经过神经网络变化得到舰船的精确长宽尺寸,形成舰船长、宽尺寸精确估计模型。
3.模型连接
将舰船外包矩形提取模型与舰船长、宽尺寸精确估计模型连接,形成基于深度学习的遥感图像舰船长、宽提取一体化模型。
S3:模型训练。用S1构建的训练集对S2中构建的模型进行训练。不多迭代训练次数,直至S2中模型的所有可训练参数(CNN权重、全连接神经网络权重)达到最优。
S4:模型测试:对S3训练好的模型进行精度测试,评估模型效果。
实施例2:
以上海港区域的SAR遥感图像舰船长、宽尺寸提取为应用实例
一种基于深度学习的遥感图像舰船尺寸一体化提取方法,该方法包括以下步骤:
S1:构建遥感图像舰船尺寸训练数据集。对上海港区域获取的SAR遥感图像进行辐射校正、滤波处理。对图像中的舰船进行标注,并根据该区域的AIS数据来获得图像中舰船对应的长宽尺寸真值,形成SAR图像舰船尺寸训练数据集。
S2:构建舰船尺寸提取模型。包括以下几步:
1. 舰船外包矩形初步提取模型
① 将包含舰船的SAR图像切割为256×256像素的切片,作为模型输入。Faster-RCNN 以VGG16为基础网络,接收切割后的SAR图像输入,提取图像特征。VGG16网络包括13个卷积神经网络层(Convolution Neural Network,CNN),分为5个部分。第一部分包括2个CNN层和一个最大池化层(max-pooling),CNN的卷积核数量为64,卷积核大小为3×3;第二部分包括2个CNN层,CNN的卷积核数量为128,卷积核大小为3×3;第三部分包括3个CNN层,CNN的卷积核数量为256,卷积核大小为3×3;第四部分包括3个CNN,卷积核数量为512,卷积核大小为3×3;第五部分包括3个CNN,卷积核数量为512,卷积核大小为3×3。输入图像经过13个CNN层,得到512个16×16的特征图,特征图大小为16×16。
② 特征图输入到Rotated-RPN子网络中,生成旋转外包矩形。先经过一次3×3的卷积,得到512个同样大小的特征图。对特征图中的每个像素,按一定长宽比和大小生成9个旋转外包矩形,由卷积核大小为1的CNN层实现。对每个像素的所有外包矩形,逐个判断其为正样本还是负样本,由Softmax层完成。同时,对每个外包矩形,生成5个参数,分别是矩形的中心点x、y坐标,矩形的长和宽,以及矩形的角度信息,由卷积核大小为1的CNN实现。选取一定数量,如300个,正样本外包矩形,输入到后续网络中。
③ 根据传入的候选外包矩形和VGG16生成的候选特征图进行池化,将候选外包矩形对应的区域转换为7×7大小的特征图。对7×7的特征图进行全连接,输出外包矩形和类别值。此处的外包矩形相对于前一步骤的外包矩形更加精确,外包矩形的长和宽作为舰船的初始长和宽值。
2. 舰船长宽尺寸精确估计模型
以初步提取的舰船长、宽数据为输入,加入遥感图像信息和背景信息,构建神经网络,精确地估计舰船的长度和宽度。在SAR图像中,遥感图像的信息包括平均反射强度、成像方位角、最大反射强度等信息。背景信息为SAR图像的背景,通过双层CNN加池化层做Embedding。将三类输入信息输入到多层神经网络中,共3层,每层包含128个神经元,最后输出舰船的长度和宽度信息。
3、模型连接:将舰船外包矩形提取模型与舰船长、宽尺寸精确估计模型连接,形成基于深度学习的遥感图像舰船长、宽提取一体化模型。
S3:模型训练:用S1构建的SAR图像舰船尺寸训练集对S2中构建的模型进行训练。不多迭代训练次数,直至S2中模型的所有可训练参数达到最优。在本实验中,经过20000此迭代训练,模型达到最优,保存最优模型。
S4:模型测试。用训练集中未出现过的SAR图像对S3训练好的模型进行精度测试。
测试结果如图2所示,本实施例中舰船长宽尺寸的预测误差均控制在10米以下。本实施例中采用的SAR图像空间分辨率为10米,因此本发明的误差在1个像素级别,预测误差较小,说明了本发明提供的提取方法具有较高的精度。

Claims (5)

1.一种基于深度学习的遥感图像舰船尺寸一体化提取方法,其特征在于,该方法包括以下步骤:
S1:构建遥感图像舰船尺寸训练集:获取遥感数据并进行预处理,获取船舶数据,将该两组数据相结合建立遥感图像中的舰船尺寸训练集;
S2:构建基于深度学习的遥感图像舰船尺寸一体化提取模型;
S3:模型训练:用S1构建的训练集对S2中构建的模型进行训练,将训练好的模型进行遥感图像的舰船尺寸提取;
所述S2中,包括以下步骤:
(1)舰船外包矩形初步提取模型
以深度神经网络Faster RCNN为基础,在目标外接矩形生成网络Region ProposalNetwork,RPN中增加方位角,生成旋转的舰船外接矩形Rotated-RPN,建立旋转的深度神经网络Rotated Faster RCNN;基于Rotated Faster RCNN识别遥感图像中舰船的旋转最小外包矩形Rotated Minimum Bounding Rectangle,RMBR,初步获得舰船的长和宽尺寸,即形成舰船外包矩形初步提取模型;
(2)舰船长、宽尺寸精确估计模型
以初提舰船长宽信息、遥感图像空间信息和遥感图像背景环境信息为输入,基于深层神经网络构建对舰船的长、宽尺寸精确估计模型;
(3)模型连接
将舰船外包矩形提取模型与舰船长、宽尺寸精确估计模型连接,形成基于深度学习的遥感图像舰船长、宽提取一体化模型;对模型进行训练,得到最优模型参数组合。
2.如权利要求1所述的遥感图像舰船尺寸一体化提取方法,其特征在于,所述提取方法还包括S4:模型测试,即对S3训练好的模型进行精度测试,评估模型效果。
3.如权利要求1所述的遥感图像舰船尺寸一体化提取方法,其特征在于,所述S1中对遥感数据进行辐射校正、几何校正预处理。
4.如权利要求1所述的遥感图像舰船尺寸一体化提取方法,其特征在于,所述S2中,原始遥感图像通过卷积神经网络对遥感图像进行Embedding,通过定义池化层来保留遥感图像中的背景信息,将Embedding后的信息,包括遥感图像空间信息和遥感图像背景环境信息,输入深度神经网络中;初步提取的舰船的长和宽尺寸也输入到深层神经网络中,经过神经网络变化得到舰船的精确长宽尺寸,从而形成舰船长、宽尺寸精确估计模型。
5.如权利要求1所述的遥感图像舰船尺寸一体化提取方法,其特征在于,所述S3中,多次迭代训练模型,直至S2中模型的所有训练参数均达到最优。
CN202010979653.4A 2020-09-17 2020-09-17 基于深度学习的遥感图像舰船尺寸一体化提取方法 Active CN112102394B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010979653.4A CN112102394B (zh) 2020-09-17 2020-09-17 基于深度学习的遥感图像舰船尺寸一体化提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010979653.4A CN112102394B (zh) 2020-09-17 2020-09-17 基于深度学习的遥感图像舰船尺寸一体化提取方法

Publications (2)

Publication Number Publication Date
CN112102394A CN112102394A (zh) 2020-12-18
CN112102394B true CN112102394B (zh) 2021-05-28

Family

ID=73759936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010979653.4A Active CN112102394B (zh) 2020-09-17 2020-09-17 基于深度学习的遥感图像舰船尺寸一体化提取方法

Country Status (1)

Country Link
CN (1) CN112102394B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972918B (zh) * 2022-05-30 2024-04-19 中国人民解放军国防科技大学 基于集成学习与ais数据的遥感图像舰船目标识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830224A (zh) * 2018-06-19 2018-11-16 武汉大学 一种基于深度学习的高分辨率遥感影像舰船目标检测方法
CN109190636A (zh) * 2018-07-30 2019-01-11 北京航空航天大学 一种遥感图像舰船目标信息提取方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818326B (zh) * 2017-12-11 2018-07-20 珠海大横琴科技发展有限公司 一种基于场景多维特征的船只检测方法及系统
CN110472542A (zh) * 2019-08-05 2019-11-19 深圳北斗通信科技有限公司 一种基于深度学习的红外图像行人检测方法及检测系统
CN111612066B (zh) * 2020-05-21 2022-03-08 成都理工大学 基于深度融合的卷积神经网络的遥感图像分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830224A (zh) * 2018-06-19 2018-11-16 武汉大学 一种基于深度学习的高分辨率遥感影像舰船目标检测方法
CN109190636A (zh) * 2018-07-30 2019-01-11 北京航空航天大学 一种遥感图像舰船目标信息提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的海洋遥感影像信息挖掘;xiaofeng li等;《National Science Review》;20200319;第1-34页 *

Also Published As

Publication number Publication date
CN112102394A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN108510532B (zh) 基于深度卷积gan的光学和sar图像配准方法
CN111161218A (zh) 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
CN108564606B (zh) 基于图像转换的异源图像块匹配方法
CN110969088A (zh) 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法
CN108460382A (zh) 基于深度学习单步检测器的光学遥感图像舰船检测方法
CN110728197B (zh) 基于深度学习的单木级树种识别方法
CN111624606B (zh) 一种雷达图像降雨识别方法
CN112083422A (zh) 基于多级深度学习网络的单航过InSAR系统端对端分类方法
CN105809194A (zh) 一种sar影像翻译为光学影像的方法
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估系统及方法
CN114494371B (zh) 基于多尺度相位一致性的光学图像和sar图像配准方法
Yang et al. Evaluation and mitigation of rain effect on wave direction and period estimation from X-band marine radar images
CN111104850A (zh) 一种基于残差网络的遥感影像建筑物自动提取方法和系统
CN115856925A (zh) 基于海图数据的多光谱遥感影像水深反演方法、介质、设备
CN112102394B (zh) 基于深度学习的遥感图像舰船尺寸一体化提取方法
Yang et al. Defect detection scheme of pins for aviation connectors based on image segmentation and improved RESNET-50
Tao et al. Electric insulator detection of UAV images based on depth learning
CN115983141A (zh) 一种基于深度学习反演海浪波高的方法、介质及系统
Yao et al. Cloud detection of GF‐7 satellite laser footprint image
CN110363863B (zh) 一种神经网络的输入数据生成方法和系统
Zhang et al. Exploiting deep matching and underwater terrain images to improve underwater localization accuracy
CN118534460A (zh) 一种基于星载sar影像的双域联合小舰船目标检测方法
CN111222576A (zh) 一种高分辨率遥感图像分类方法
CN118196496A (zh) 一种基于多尺度特征增强网络的sar船舰检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant