Nothing Special   »   [go: up one dir, main page]

CN107818326A - 一种基于场景多维特征的船只检测方法及系统 - Google Patents

一种基于场景多维特征的船只检测方法及系统 Download PDF

Info

Publication number
CN107818326A
CN107818326A CN201711311822.1A CN201711311822A CN107818326A CN 107818326 A CN107818326 A CN 107818326A CN 201711311822 A CN201711311822 A CN 201711311822A CN 107818326 A CN107818326 A CN 107818326A
Authority
CN
China
Prior art keywords
ship
image
module
detection
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711311822.1A
Other languages
English (en)
Other versions
CN107818326B (zh
Inventor
邓练兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Dahengqin Technology Development Co Ltd
Original Assignee
Zhuhai Dahengqin Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Dahengqin Technology Development Co Ltd filed Critical Zhuhai Dahengqin Technology Development Co Ltd
Priority to CN201711311822.1A priority Critical patent/CN107818326B/zh
Publication of CN107818326A publication Critical patent/CN107818326A/zh
Application granted granted Critical
Publication of CN107818326B publication Critical patent/CN107818326B/zh
Priority to EP18880753.1A priority patent/EP3696726A4/en
Priority to JP2019572825A priority patent/JP6759475B2/ja
Priority to PCT/CN2018/120296 priority patent/WO2019101221A1/zh
Priority to KR1020207000721A priority patent/KR102171122B1/ko
Priority to US16/627,513 priority patent/US10885381B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种基于场景多维特征的船只检测方法及系统，包括构建船只图像样本库，提取每帧图像所有边缘作为图像的第四维；提取得到海岸线，令海面区域为船只出现范围区域；构建类Faster RCNN卷积网络作为深度学习网络，将样本数据输入到深度学习网络中；构建RPN网络，利用滑动窗口在船只出现范围区域生成不同大小区域建议框，同所得深度学习网络结合，根据船只真实位置训练模型；对检测影像基于训练所得模型对海岸线间的部分进行船只检测。本发明通过提取海岸线来避免了陆地房屋的干扰，只对船只区域进行区域建议，提高了区域建议框的准确率和速度；并且在目标检测中加入了边缘特征作为图像第四维，提高了检测精度和速度。

Description

一种基于场景多维特征的船只检测方法及系统
技术领域
本发明属于计算机视觉领域，基于场景多维特征构建深度学习网络模型的船只检测方法及系统。
背景技术
现今社会中，视频监控摄像头无处不在，而在监控中心的电视墙上也会同时显示多路监控画面，如果只是依靠人眼观察检测，很容易错过异常事件。研究表明，专业监控人员在仅仅监视2个监视器的情况下，22分钟后将错过95％的行为，不能事先有效防控犯罪行为的发生。而智能监控探头提高了实时监控系统的主动预警能力，当检测到相关危险情况时发出预警，有利于相关部门及时采取措施。另一方面，智能监控探头的异常预警行为的存储记录，也是日后案件侦破、事故原因分析等工作中的珍贵线索。
而随着人口的迅速膨胀和陆地资源的极其匮乏，21世纪人类逐渐加快了向海洋进军的步伐。如何利用好、保护海洋环境和资源，如何在人力有限的情况下监控广袤的海洋成为当前重要的研究课题。海洋视频监控系统可以实现24小时无间断监控、全面监测过往舰船、船员动作等情况，违反行为被第一时间捕捉、周边海域状况被无间断记录，从而大大缓解了海洋监管人员的工作难度，提高工作效率，节约监管成本，同时为海洋管理决策的制定提供科学依据。
本专利这里研究如何从环岛监控视频系统中快速准确地检测出运动船只。纵观国内外的目标检测算法现状，逐渐从时域帧差法、光流法、背景减除法等传统方法转向R-CNN，Fast RCNN，Faster RCNN等基于深度学习的检测方法。
传统方法中时域帧差法是提取出视频中的相邻的两帧或多帧图像，进行差分计算，通过阈值化从而分离出图像中的背景和运动物体，获得它的像素。该算法对于动态背景，在镜头固定的时候具有较强的适应性和鲁棒性，不过它不能完整地提取出特征的所有相关像素点，只能提取部分特征相关像素，这导致它得不到高精度的检测结果。当物体运动迅速时，采用大一些的取样间隔，会导致两帧影像间没有覆盖，而容易发生误检测。如果在物体运动速度较慢时，采用小一些的取样间隔，则检测出的运动目标容易产生空洞现象，不利于后续的目标检测。
在深度学习的方法中，RCNN是一个带有CNN特征区域的网络，第一次利用卷积神经网络特征来做分类。输入一张影像，它首先通过选择性搜索(Selective Search,SS)的区域建议方法来获取大约2000的候选区域，然后对每一个特征区域提取CNN特征。再利用SVM分类器对每个区域进行分类，最后根据阈值确定最终的分类结果。但是该方法的效率不高，在CPU模式下一张影像需要2秒左右的时间，其主要原因是在提取特征的过程中，CNN会对每个region proposals进行单独的特征提取，这样导致所耗时间大大增加。
Fast RCNN网络的输入是图像和它的对象建议框，然后对图像进行卷积和最大池化操作，得到本专利需要的特征图(feature map)。Fast RCNN提出了新的网络层结构ROIPooling层来将这些结果的尺度进行统一，变成固定长度的特征向量。然后将这些特征向量输入到一个全连接层，再输入到一个multi-task模型，由softmax分类器和bbox regressor回归合并组成，而这两层能够共享特征，所以同时对这两个进行微调，相互促进，能得到更好的效果。Fast RCNN可以在GPU上实现，虽然提高了效率，但是他没有考虑之后的检测网络，而区域建议部分也耗时太长，并没有能够很好地解决这一问题。
Faster RCNN采用区域生成网络(Region Proposal Network RPN)+fast RCNN来进行区域建议。这里区域生成网络是和检测网络共享卷积特征，用这些卷积层特征来预测区域建议框，这样生成区域建议框的计算成本很小。然后将这些区域用于Fast R-CNN检测，这样检测的准确率和Fast R-CNN差不多，但快了不少。但是准确率还是不够好。
发明内容
针对现有技术的不足，结合环岛监控系统的数据特性，本发明提供一种基于场景多维特征构建深度学习网络模型的船只检测技术方案。
为实现上述目的，本发明的技术方案为一种基于场景多维特征构建深度学习网络模型的船只检测方法，包括以下步骤，
步骤a，构建船只图像样本库，包括采集可见光下的沿海区域监控视频数据，提取每帧图像，获得船只位置真值和长宽；然后通过canny算子进行边缘检测，得到图像中所有边缘，并作为图像的第四维；
步骤b，船只区域获取，包括对于步骤a得到的边缘，进行Hough变换，得到海岸线，令海面区域为船只出现范围区域Ship area；
步骤c，构建类Faster RCNN卷积网络作为深度学习网络，将步骤a得到的处理后图像作为样本数据输入到深度学习网络中，得到卷积后的特征图；
步骤d，构建RPN网络，基于步骤c所得卷积后的特征图，利用滑动窗口在船只出现范围区域Ship area生成不同大小区域建议框，同步骤c所得深度学习网络结合，根据船只真实位置进行训练，得到训练模型；
步骤e，利用步骤d训练所得模型对测试数据进行检测，包括对检测影像进行边缘检测，得到图像中所有边缘，并将其作为图像的第四维，然后通过Hough变换得到海岸线，基于步骤d训练所得模型对海岸线间的部分进行船只检测。
而且，步骤b中，首先建立一个(λ,θ)极坐标参数空间的二维数组作为累加器，顺序搜索图像中所有目标像素，对于每一个目标像素在参数空间中找到对应位置，在累加器的对应位置加1；再求出参数空间累加器中最大值，设其位置为(λi,θi)；最后通过参数空间位置(λi,θi)，根据上式找到图像空间中相对应的直线参数，确定最长的一条直线为海岸线。
而且，步骤d中，利用滑动窗口在船只出现范围区域Ship area生成不同大小区域建议框后，根据步骤a所得船只长宽，通过K-均值聚类，得到选择的区域建议框大小。
本发明提供一种基于场景多维特征构建深度学习网络模型的船只检测系统，包括以下模块：
第一模块，用于构建船只图像样本库，包括采集可见光下的沿海区域监控视频数据，提取每帧图像，获得船只位置真值和长宽；然后通过canny算子进行边缘检测，得到图像中所有边缘，并作为图像的第四维；
第二模块，用于船只区域获取，包括对于第一模块得到的边缘，进行Hough变换，得到海岸线，令海面区域为船只出现范围区域Ship area；
第三模块，用于构建类Faster RCNN卷积网络作为深度学习网络，将第一模块得到的处理后图像作为样本数据输入到深度学习网络中，得到卷积后的特征图；
第四模块，用于构建RPN网络，基于第三模块所得卷积后的特征图，利用滑动窗口在船只出现范围区域Ship area生成不同大小区域建议框，同第三模块所得深度学习网络结合，根据船只真实位置进行训练，得到训练模型；
第五模块，用于利用第四模块训练所得模型对测试数据进行检测，包括对检测影像进行边缘检测，得到图像中所有边缘，并将其作为图像的第四维，然后通过Hough变换得到海岸线，基于第四模块训练所得模型对海岸线间的部分进行船只检测。
而且，第二模块中，首先建立一个(λ,θ)极坐标参数空间的二维数组作为累加器，顺序搜索图像中所有目标像素，对于每一个目标像素在参数空间中找到对应位置，在累加器的对应位置加1；再求出参数空间累加器中最大值，设其位置为(λi,θi)；最后通过参数空间位置(λi,θi)，根据上式找到图像空间中相对应的直线参数，确定最长的一条直线为海岸线。
而且，第四模块中，利用滑动窗口在船只出现范围区域Ship area生成不同大小区域建议框后，根据第一模块所得船只长宽，通过K-均值聚类，得到选择的区域建议框大小。
本发明提供的技术方案的有益效果为：
(1)根据实际数据情况，陆地房屋是船只误检的主要原因。本专利通过提取海岸线来避免了陆地房屋的干扰，只对船只区域进行区域建议，提高了区域建议框的准确率和速度。
(2)在目标检测中加入了边缘特征作为图像第四维，提高了检测精度和速度。对于复杂场景如云雾、阴天、下雨等情况依然具有较好的检测结果，方法鲁棒性高。本发明能够用于提供海洋监管工作效率，节约监管成本，同时为海洋管理决策的制定提供科学依据，具有重要的市场价值。
附图说明
图1为本发明实施例的流程图。
图2为本发明实施例的滑动窗口生成区域建议框结构示意图。
具体实施方式
本发明提出的结合场景特征的基于深度学习网络的船只检测方法。先构建图像样本库，对船只图像进行样本标记，得到足够的样本。然后通过边缘检测和Hough变换来得到海岸线，同时将边缘检测结果作为图像的第四维，构建深度学习网络对图像进行卷积。再用滑动窗口在海岸线间区域生成区域建议框，因为在环岛影像中船只只会出现在水面上，而其他深度学习方法的区域建议方法都是对于整幅图像进行区域建议。然后用船只位置真值得到建议框的损失函数，对整个网络进行训练，输出训练好的模型。最后用训练好的模型对测试数据进行船只检测。其中主要包括样本库构建、海岸线提取、深度学习网络训练、船只检测四个过程。
为详细说明具体实施方式，参见图1，实施例流程如下：
步骤a，构建船只图像样本库；通过canny算子进行边缘检测，得到图像的边缘检测结果称为波段E，将其作为图像的第四维，让图像从(R，G，B)表示变为(R，G，B，E)表示。
首先准备船只影像，本发明所需采集的数据主要为可见光下的沿海区域监控视频数据。具体实施时，可与预先进行采集构建。对于采集到的视频数据，需要通过解码器或代码获得每帧图像，针对多个视频，得到具有足够多样性的船只图像样本库。再对船只图像样本库中每帧图像通过预选标记，获得船只位置真值和长宽。
然后通过canny算子进行检测，得到船只图像样本库中每帧图像中的边缘，对边缘像素赋值为255(黑色)，对其他像素赋值为0(白色)，将其作为图像的第四维E，让图像从(R，G，B)表示变为(R，G，B，E)表示。包括以下过程：
(1)首先用高斯滤波器平滑图象，高斯平滑函数为：
其中x，y是为图像点的坐标，在图像处理中可以认为是整数，σ是标准差。
(2)通过高斯平滑函数产生一个3×3的模版H，f是原始图像，然后用这个模版对图像进行模糊，得到平滑后图像G：
G(x,y)＝f(x,y)*H(x,y)
(3)再用一阶偏导的有限差分来计算梯度的幅值和方向。一阶微分卷积模版如下：
分别计算垂直方向和水平方向的数值，然后梯度的幅值如下：
梯度的方向如下：
(4)对梯度幅值进行非极大值抑制，仅仅得到全局的梯度并不足以确定边缘，因此为确定边缘，必须保留局部梯度最大的点，而抑制非极大值。在每一点上，邻域的中心象素M与沿着梯度线的两个象素相比。如果M的梯度值不比沿梯度线的两个相邻象素梯度值大，则令M＝0。
(5)用双阈值算法检测和连接边缘。对非极大值抑制图像作用两个阈值th1和th2，两者关系一般为th1＝0.4th2。本专利把梯度值小于th1的像素的灰度值设为0，得到图像a。然后把梯度值小于th2的像素的灰度值设为0，得到图像b。由于图像b的阈值较高，去除大部分噪音，但同时也损失了有用的边缘信息。而图像a的阈值较低，保留了较多的信息，本专利可以以图像b为基础，以图像a为补充来连结图像的边缘。
(6)对图像进行处理。对边缘像素赋值为255(黑色)，对其他像素赋值为0(白色)，将其作为图像的第四维，让图像从(R，G，B)表示变为(R，G，B，E)表示。
步骤b，船只区域获取。对于步骤a得到的边缘E，进行Hough变换，得到海岸线，令海面区域为船只出现范围区域Ship area。
为了减少计算量，本发明提出首先建立一个(λ,θ)极坐标参数空间的二维数组，该数组相当于一个累加器。因为基于点-线的对偶性思想，在图像中，所有过点(x,y)的直线方程为：
y＝k*x+b
其中k为斜率，b为截距。
在参数空间中，该直线可以表示为一个点，用极坐标表示为：
λ＝x cosθ+y sinθ
其中λ为点到极点的距离，θ为点和极点的连线与横轴所夹角度。所以图像空间中各个点可以看作它们在参数空间里面的对应曲线。
然后顺序搜索图像中所有目标(黑色)像素，对于每一个目标像素，在参数空间中根据上式找到对应位置，然后在累加器的对应位置加1。
再求出参数空间(累加器)中最大值，其位置为(λi,θi)。
最后通过参数空间位置(λi,θi)，根据上式找到图像空间中相对应的直线参数。因为摄像头在海岸上对海面进行拍摄，所以每次影像中只能显示一条海岸线，所以最长的一条直线就是本专利所求的海岸线，根据海岸线可得海面区域，作为船只出现范围区域Shiparea，有利于后续的区域建议框生成。
步骤c，构建类Faster RCNN卷积网络作为深度学习网络，将步骤a得到的处理后图像作为样本数据输入到深度学习网络中，得到卷积后的特征图。
所用类Faster RCNN深度学习网络的网络结构由5个卷积层和3个最大池化层以及2个全连接层组成。
对于普通卷积层，上一层的特征层被一个可学习的卷积核进行卷积，然后通过一个激活函数，就可以得到输出特征层。每一个输出层可能是组合卷积多个输入层的值：
其中Mj表示选择的输入层的集合，i是输入层单元的索引值，j是输出层单元的索引值，表示输入层与输出层之间的权重，表示各层之间的激活偏置，f()表示该输出层的激活函数，表示l层的第j个输出层，表示l-1层的第i个输入层。
对于池化层来说，有N个输入层，就有N个输出层，只是每个输出层都变小了。
down()表示一个下采样函数。一般是对输入图像的不同n*n区域内所有像素进行求和。这样输出图像在两个维度上都缩小了n倍。每个输出层都对应一个属于自己的乘性偏置和一个加性偏置表示l层的第j个输出层，表示l-1层的第j个输入层。
对于输出的全连接层来说，卷积输入多个特征层，再对这些卷积值求和得到一个输出层，这样的效果往往是比较好的。本专利用αij表示在得到第j个输出特征层中第i个输入层的权值或者贡献。这样，第j个输出层可以表示为：
需要满足约束：
其中,Nin表示输入特征层的个数，表示输入层与输出层之间的权重，表示各层之间的激活偏置，表示l层的第j个输出层，表示l-1层的第j个输入层。
步骤d，构建RPN网络，基于步骤c所得卷积后的特征图，利用滑动窗口在船只出现范围区域Ship area生成不同大小区域建议框，根据步骤a所得船只长宽，通过K-均值聚类得到选择的区域建议框大小，同步骤c所得深度学习网络结合，根据船只真实位置进行训练，得到训练模型。
滑动窗口生成区域建议框结构如图2所示，其中anchor boxes可以理解为锚点，位于滑动窗口的中心处，sliding window是滑动窗口，conv feature map是步骤c得到的卷积特征图，intermediate layer为全连接层前的中间层，256-d是指建议框生成的256维长度的全联接特征，cls layer为预测类别的全连接层，reg layer为预测位置的全连接层，假定有k个建议框，2k scores是指对应输出的2k个类别分数，4k coorrdinates是指对应输出的4k个位置坐标，ship area为船只出现范围区域，region proposal为区域建议框，originalimage为原始图像。在步骤c最终得到的卷积特征图上进行滑动，根据步骤a所得船只长宽，通过K-均值聚类得到区域建议框大小，再利用步骤a所得船只真实位置学习损失函数，然后与步骤c训练所得深度学习网络组合，对组合网络进行训练，最后输出训练好的模型。主要采用反向传播算法(BP算法)神经网络模式进行更新。
实施例中，使用固定大小的3*3滑动窗口，在步骤c的深度学习网络的最后一层卷积层上进行滑动。将滑动窗口所处的中心位置对应回原始输入图像，对应的那个像素就认为是anchor的中心位置，判断中心位置是否在步骤b得到的船只区域中，如果不在，则舍弃，接着往下滑动。这是因为本专利是要预测区域建议框，结合海岸线减少不必要的区域建议框，可以利用anchor机制和边框回归来得到不同尺度不同长宽比的Region Proposal，从而解决尺度问题。
这里每个anchor均对应了一种长宽比和一种尺度。本发明实施例统计标记样本的船只长宽比和尺度，用K-均值聚类的方法聚类出频率最高的船只的长宽情况，选择五种，这样一共有5个anchor。最后输出到两个全链接层，能够同时预测出目标的区域建议框的位置和分数。
训练时候的损失函数分为评估区域建议框定位的损失函数以及评估分类的损失函数：
评估区域建议框定位的损失函数如下：
其中为比较船只位置真值对应的预测平移缩放参数，k表示类别的编号，是指相对于区域建议框进行尺度一定的平移,是指对数空间中相对于区域建议框的高与宽。v＝(vx,vy,vw,vh)为对应的真实平移缩放参数，smoothL1损失函数为：
评估分类的损失函数，由船只位置真值u对应的概率决定：
Lcls(p,u)＝-logpu
其中p＝(p0,p1,p2,…pk)是对每个区域建议框输出k+1维离散型数组。
步骤e，利用步骤d输出模型对测试数据进行检测。在检测前，先对检测影像进行边缘检测，得到图像中所有边缘，并将其作为图像的第四维。然后通过Hough变换得到海岸线，将影像输入深度学习网络中根据训练得到的参数对海岸线间的部分进行船只检测。
本步骤利用输出模型对测试数据进行检测，在检测前也先检测影像中的海岸线，然后再对船只区域进行检测。对作为测试数据的检测影像处理方式与步骤a、b对样本图像的处理方式一致。具体实施时，可以设定一个真值重叠度的thresh阈值，高于阈值则输出为目标船只。
综上所述，先构建图像样本库，对船只图像进行样本标记，得到足够的样本。然后通过边缘检测和Hough变换来得到海岸线，并将检测出的边缘作为图像的第四维，构建深度学习网络对图像进行卷积。再用滑动窗口在船只区域生成区域建议框，区域建议框大小通过K-均值聚类得到，因为在环岛影像中船只只会出现在水面上，而其他深度学习方法的区域建议方法都是对于整幅图像进行区域建议。然后用船只位置真值得到建议框的损失函数，对整个网络进行训练，输出训练好的模型。最后用训练好的模型对测试数据进行船只检测。本发明的方法利用了海岸线特征，减少了生成区域建议框的时间，提高了区域建议框的召回率，以及最终检测结果的精度和效率。
至此，本专利所使用的基于场景多维特征构建深度学习网络模型的船只检测方法具体实施过程介绍完毕。
具体实施时，本发明所提供方法可基于软件技术实现自动运行流程，也可采用模块化方式实现相应系统。本发明实施例提供一种基于场景多维特征构建深度学习网络模型的船只检测系统，包括以下模块：
第一模块，用于构建船只图像样本库，包括采集可见光下的沿海区域监控视频数据，提取每帧图像，获得船只位置真值和长宽；然后通过canny算子进行边缘检测，得到图像中所有边缘，并作为图像的第四维；
第二模块，用于船只区域获取，包括对于第一模块得到的边缘，进行Hough变换，得到海岸线，令海面区域为船只出现范围区域Ship area；
第三模块，用于构建类Faster RCNN卷积网络作为深度学习网络，将第一模块得到的处理后图像作为样本数据输入到深度学习网络中，得到卷积后的特征图；
第四模块，用于构建RPN网络，基于第三模块所得卷积后的特征图，利用滑动窗口在船只出现范围区域Ship area生成不同大小区域建议框，同第三模块所得深度学习网络结合，根据船只真实位置进行训练，得到训练模型；
第五模块，用于利用第四模块训练所得模型对测试数据进行检测，包括对检测影像进行边缘检测，得到图像中所有边缘，并将其作为图像的第四维，然后通过Hough变换得到海岸线，基于第四模块训练所得模型对海岸线间的部分进行船只检测。
各模块具体实现可参见相应步骤，本发明不予赘述。
本文中所描述的具体实例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于场景多维特征的船只检测方法，其特征在于：包括以下步骤，
步骤a，构建船只图像样本库，包括采集可见光下的沿海区域监控视频数据，提取每帧图像，获得船只位置真值和长宽；然后通过canny算子进行边缘检测，得到图像中所有边缘，并作为图像的第四维；
步骤b，船只区域获取，包括对于步骤a得到的边缘，进行Hough变换，得到海岸线，令海面区域为船只出现范围区域Ship area；
步骤c，构建类Faster RCNN卷积网络作为深度学习网络，将步骤a得到的处理后图像作为样本数据输入到深度学习网络中，得到卷积后的特征图；
步骤d，构建RPN网络，基于步骤c所得卷积后的特征图，利用滑动窗口在船只出现范围区域Ship area生成不同大小区域建议框，同步骤c所得深度学习网络结合，根据船只真实位置进行训练，得到训练模型；
步骤e，利用步骤d训练所得模型对测试数据进行检测，包括对检测影像进行边缘检测，得到图像中所有边缘，并将其作为图像的第四维，然后通过Hough变换得到海岸线，基于步骤d训练所得模型对海岸线间的部分进行船只检测。
2.根据权利要求1所述基于场景多维特征的船只检测方法，其特征在于：步骤b中，首先建立一个(λ,θ)极坐标参数空间的二维数组作为累加器，顺序搜索图像中所有目标像素，对于每一个目标像素在参数空间中找到对应位置，在累加器的对应位置加1；再求出参数空间累加器中最大值，设其位置为(λi,θi)；最后通过参数空间位置(λi,θi)，根据上式找到图像空间中相对应的直线参数，确定最长的一条直线为海岸线。
3.根据权利要求1或2所述基于场景多维特征的船只检测方法，其特征在于：步骤d中，利用滑动窗口在船只出现范围区域Ship area生成不同大小区域建议框后，根据步骤a所得船只长宽，通过K-均值聚类，得到选择的区域建议框大小。
4.一种基于场景多维特征的船只检测系统，其特征在于：包括以下模块：
第一模块，用于构建船只图像样本库，包括采集可见光下的沿海区域监控视频数据，提取每帧图像，获得船只位置真值和长宽；然后通过canny算子进行边缘检测，得到图像中所有边缘，并作为图像的第四维；
第二模块，用于船只区域获取，包括对于第一模块得到的边缘，进行Hough变换，得到海岸线，令海面区域为船只出现范围区域Ship area；
第三模块，用于构建类Faster RCNN卷积网络作为深度学习网络，将第一模块得到的处理后图像作为样本数据输入到深度学习网络中，得到卷积后的特征图；
第四模块，用于构建RPN网络，基于第三模块所得卷积后的特征图，利用滑动窗口在船只出现范围区域Ship area生成不同大小区域建议框，同第三模块所得深度学习网络结合，根据船只真实位置进行训练，得到训练模型；
第五模块，用于利用第四模块训练所得模型对测试数据进行检测，包括对检测影像进行边缘检测，得到图像中所有边缘，并将其作为图像的第四维，然后通过Hough变换得到海岸线，基于第四模块训练所得模型对海岸线间的部分进行船只检测。
5.根据权利要求4所述基于场景多维特征构的船只检测系统，其特征在于：第二模块中，首先建立一个(λ,θ)极坐标参数空间的二维数组作为累加器，顺序搜索图像中所有目标像素，对于每一个目标像素在参数空间中找到对应位置，在累加器的对应位置加1；再求出参数空间累加器中最大值，设其位置为(λi,θi)；最后通过参数空间位置(λi,θi)，根据上式找到图像空间中相对应的直线参数，确定最长的一条直线为海岸线。
6.根据权利要求4或5所述基于场景多维特征的船只检测系统，其特征在于：第四模块中，利用滑动窗口在船只出现范围区域Ship area生成不同大小区域建议框后，根据第一模块所得船只长宽，通过K-均值聚类，得到选择的区域建议框大小。
CN201711311822.1A 2017-12-11 2017-12-11 一种基于场景多维特征的船只检测方法及系统 Active CN107818326B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201711311822.1A CN107818326B (zh) 2017-12-11 2017-12-11 一种基于场景多维特征的船只检测方法及系统
EP18880753.1A EP3696726A4 (en) 2017-12-11 2018-12-11 VESSEL DETECTION METHOD AND SYSTEM USING MULTIDIMENSIONAL SCENE CHARACTERISTICS
JP2019572825A JP6759475B2 (ja) 2017-12-11 2018-12-11 シーンの多次元特徴に基づく船舶検出方法及びシステム
PCT/CN2018/120296 WO2019101221A1 (zh) 2017-12-11 2018-12-11 一种基于场景多维特征的船只检测方法及系统
KR1020207000721A KR102171122B1 (ko) 2017-12-11 2018-12-11 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템
US16/627,513 US10885381B2 (en) 2017-12-11 2018-12-11 Ship detection method and system based on multidimensional scene features

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711311822.1A CN107818326B (zh) 2017-12-11 2017-12-11 一种基于场景多维特征的船只检测方法及系统

Publications (2)

Publication Number Publication Date
CN107818326A true CN107818326A (zh) 2018-03-20
CN107818326B CN107818326B (zh) 2018-07-20

Family

ID=61605234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711311822.1A Active CN107818326B (zh) 2017-12-11 2017-12-11 一种基于场景多维特征的船只检测方法及系统

Country Status (6)

Country Link
US (1) US10885381B2 (zh)
EP (1) EP3696726A4 (zh)
JP (1) JP6759475B2 (zh)
KR (1) KR102171122B1 (zh)
CN (1) CN107818326B (zh)
WO (1) WO2019101221A1 (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509919A (zh) * 2018-04-03 2018-09-07 哈尔滨哈船智控科技有限责任公司 一种基于深度学习对视频或图片中水线的检测和识别方法
CN108810505A (zh) * 2018-06-06 2018-11-13 合肥康之恒机械科技有限公司 一种动态目标高效跟踪图像数据优化传输方法及系统
CN108960143A (zh) * 2018-07-04 2018-12-07 北京航空航天大学 一种高分辨率可见光遥感图像中的舰船检测深度学习方法
CN109166094A (zh) * 2018-07-11 2019-01-08 华南理工大学 一种基于深度学习的绝缘子故障定位识别方法
CN109241913A (zh) * 2018-09-10 2019-01-18 武汉大学 结合显著性检测和深度学习的船只检测方法及系统
CN109359557A (zh) * 2018-09-25 2019-02-19 东北大学 一种基于迁移学习的sar遥感图像舰船检测方法
CN109583424A (zh) * 2018-12-21 2019-04-05 杭州电子科技大学 一种基于衰减置信度的重叠舰船目标候选框筛选方法
CN109740665A (zh) * 2018-12-29 2019-05-10 珠海大横琴科技发展有限公司 基于专家知识约束的遮挡图像船只目标检测方法及系统
WO2019101221A1 (zh) * 2017-12-11 2019-05-31 珠海大横琴科技发展有限公司 一种基于场景多维特征的船只检测方法及系统
CN109859103A (zh) * 2019-01-09 2019-06-07 杭州电子科技大学 一种基于双线性内插法精确池化策略的舰船目标检测方法
CN109934088A (zh) * 2019-01-10 2019-06-25 海南大学 基于深度学习的海面船只辨识方法
CN110210561A (zh) * 2019-05-31 2019-09-06 北京市商汤科技开发有限公司 神经网络的训练方法、目标检测方法及装置、存储介质
CN110781785A (zh) * 2019-10-18 2020-02-11 上海理工大学 基于Faster RCNN算法改进的交通场景下行人检测方法
CN110796009A (zh) * 2019-09-29 2020-02-14 航天恒星科技有限公司 基于多尺度卷积神经网络模型的海上船只检测方法及系统
CN110807424A (zh) * 2019-11-01 2020-02-18 深圳市科卫泰实业发展有限公司 一种基于航拍图像的港口船舶比对方法
CN110969213A (zh) * 2019-12-10 2020-04-07 珠海大横琴科技发展有限公司 一种基于Faster RCNN的船只检测方法、装置及电子设备
CN111368690A (zh) * 2020-02-28 2020-07-03 珠海大横琴科技发展有限公司 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN111553184A (zh) * 2019-12-27 2020-08-18 珠海大横琴科技发展有限公司 一种基于电子围网的小目标检测方法、装置及电子设备
CN112115891A (zh) * 2020-09-24 2020-12-22 电子科技大学 一种基于一维多向抽取的sar图像港口检测方法
CN112285712A (zh) * 2020-10-15 2021-01-29 电子科技大学 一种提高sar图像中靠岸船只检测精度的方法
CN113033390A (zh) * 2021-03-23 2021-06-25 中国科学院空天信息创新研究院 一种基于深度学习的大坝遥感智能检测方法
CN113379603A (zh) * 2021-06-10 2021-09-10 大连海事大学 一种基于深度学习的船舶目标检测方法
CN113920140A (zh) * 2021-11-12 2022-01-11 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的铁路货车管盖脱落故障识别方法
CN114627046A (zh) * 2021-12-30 2022-06-14 山东爱普电气设备有限公司 一种基于可见光多滤波维度的电力线检测方法及系统
CN115082694A (zh) * 2022-05-17 2022-09-20 交通运输部水运科学研究所 基于扁长形锚点和线段扩充技术的船舶检测方法和装置

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11132529B2 (en) * 2016-11-16 2021-09-28 Ventana Medical Systems, Inc. Convolutional neural networks for locating objects of interest in images of biological samples
US11205274B2 (en) * 2018-04-03 2021-12-21 Altumview Systems Inc. High-performance visual object tracking for embedded vision systems
US11638569B2 (en) * 2018-06-08 2023-05-02 Rutgers, The State University Of New Jersey Computer vision systems and methods for real-time needle detection, enhancement and localization in ultrasound
CN109458978B (zh) * 2018-11-07 2020-12-01 五邑大学 一种基于多尺度检测算法的天线下倾角测量方法
CN110619647B (zh) * 2019-09-16 2022-12-30 中山大学 基于边缘点频域空域特征结合图像模糊区域定位方法
CN111105419B (zh) * 2019-10-09 2023-04-18 中国船舶重工集团公司第七0九研究所 一种基于极化sar图像的车辆船舶检测方法及装置
WO2021111622A1 (ja) * 2019-12-06 2021-06-10 日本電気株式会社 パラメータ決定装置、パラメータ決定方法、及び、非一時的なコンピュータ可読媒体
CN111583722B (zh) * 2020-04-23 2022-09-06 大连理工大学 一种基于ais数据的船舶航行特征及偏好分析方法
CN111553940B (zh) * 2020-05-19 2023-06-16 上海海栎创科技股份有限公司 一种深度图人像边缘优化方法及处理装置
CN111832611B (zh) * 2020-06-03 2024-01-12 北京百度网讯科技有限公司 动物识别模型的训练方法、装置、设备及存储介质
CN111967313B (zh) * 2020-07-08 2022-04-12 北京航空航天大学 一种深度学习目标检测算法辅助的无人机图像标注方法
CN111985470B (zh) * 2020-07-09 2024-06-21 浙江工业大学 一种自然场景下的船牌矫正识别方法
CN113473076B (zh) * 2020-07-21 2023-03-14 青岛海信电子产业控股股份有限公司 社区报警方法及服务器
CN112102394B (zh) * 2020-09-17 2021-05-28 中国科学院海洋研究所 基于深度学习的遥感图像舰船尺寸一体化提取方法
CN112085001B (zh) * 2020-09-23 2024-04-23 清华大学苏州汽车研究院（相城） 一种基于多尺度边缘特征检测的隧道识别模型及方法
CN112508848B (zh) * 2020-11-06 2024-03-26 上海亨临光电科技有限公司 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法
CN112396582B (zh) * 2020-11-16 2024-04-26 南京工程学院 一种基于Mask RCNN的均压环歪斜检测方法
US12051230B2 (en) * 2020-11-25 2024-07-30 Korea Electronics Technology Institute Accelerated processing method for deep learning based-panoptic segmentation using a RPN skip based on complexity
CN112597815B (zh) * 2020-12-07 2024-10-01 西北工业大学 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法
CN112800932B (zh) * 2021-01-25 2023-10-03 上海海事大学 海上背景下显著船舶目标的检测方法及电子设备
CN112907728B (zh) * 2021-01-27 2023-04-11 北京邮电大学 基于摄像头和边缘计算的船舶场景还原和定位方法及系统
CN112819068B (zh) * 2021-01-29 2023-09-26 南京长江油运有限公司 一种基于深度学习的船舶作业违章行为实时侦测方法
CN113326724B (zh) * 2021-02-07 2024-02-02 海南长光卫星信息技术有限公司 一种遥感影像变化检测方法、装置、设备及可读存储介质
CN112926426A (zh) * 2021-02-09 2021-06-08 长视科技股份有限公司 基于监控视频的船舶识别方法、系统、设备及存储介质
CN112869829B (zh) * 2021-02-25 2022-10-21 北京积水潭医院 一种智能镜下腕管切割器
CN113158787B (zh) * 2021-03-11 2024-04-05 上海海事大学 一种复杂海洋环境下船舶检测分类方法
CN113096098B (zh) * 2021-04-14 2024-01-05 大连理工大学 基于深度学习的铸件外观缺陷检测方法
CN113205026B (zh) * 2021-04-26 2022-08-16 武汉大学 一种基于Faster RCNN深度学习网络改进的车型识别方法
CN113158966A (zh) * 2021-05-08 2021-07-23 浙江浩腾电子科技股份有限公司 基于深度学习的非机动车骑车带人行为识别的检测方法
CN115421114A (zh) * 2021-05-12 2022-12-02 复旦大学 基于hrrp信号幅度统计特征的自然场景分类方法
CN113205151B (zh) * 2021-05-25 2024-02-27 上海海事大学 基于改进ssd模型的船舶目标实时检测方法及终端
CN113239854B (zh) * 2021-05-27 2023-12-19 北京环境特性研究所 一种基于深度学习的船舶身份识别方法及系统
CN113313166B (zh) * 2021-05-28 2022-07-26 华南理工大学 基于特征一致性学习的船舶目标自动标注方法
CN113379695B (zh) * 2021-06-01 2024-03-29 大连海事大学 局部特征差异性耦合的sar图像近岸舰船检测方法
CN113343355B (zh) * 2021-06-08 2022-10-18 四川大学 基于深度学习的飞机蒙皮型面检测路径规划方法
CN113628245B (zh) * 2021-07-12 2023-10-31 中国科学院自动化研究所 多目标跟踪方法、装置、电子设备和存储介质
CN113705505B (zh) * 2021-09-02 2024-05-17 浙江索思科技有限公司 一种面向海洋渔业的船舶目标检测方法和系统
CN113850166A (zh) * 2021-09-13 2021-12-28 湖北中南鹏力海洋探测系统工程有限公司 一种基于卷积神经网络的船舶图像识别方法及系统
CN113850783B (zh) * 2021-09-27 2022-08-30 清华大学深圳国际研究生院 一种海面船舶检测方法及系统
CN113936205B (zh) * 2021-10-29 2024-09-17 北京航空航天大学 一种基于集成学习的海上目标检测方法
CN113822277B (zh) * 2021-11-19 2022-02-18 万商云集(成都)科技股份有限公司 基于深度学习目标检测的违规广告图片检测方法及系统
CN113920436A (zh) * 2021-11-22 2022-01-11 江苏科技大学 一种基于改进YOLOv4算法的遥感图像海上船舶识别系统及其方法
CN114648509B (zh) * 2022-03-25 2023-05-12 中国医学科学院肿瘤医院 一种基于多分类任务的甲状腺癌检出系统
CN114742950B (zh) * 2022-04-19 2024-02-02 上海海事大学 船舶外形3d数字重构方法、装置、存储介质及电子设备
CN114973061B (zh) * 2022-04-24 2023-06-23 哈尔滨工程大学 基于深度学习方法的辅助抗沉决策模型生成方法及系统
CN114596536A (zh) * 2022-05-07 2022-06-07 陕西欧卡电子智能科技有限公司 无人船沿岸巡检方法、装置、计算机设备及存储介质
CN114612471B (zh) * 2022-05-10 2022-10-11 佛山市阿瑞斯数字设备有限公司 一种复杂纹理瓷砖表面缺陷检测方法
CN114898152B (zh) * 2022-05-13 2023-05-30 电子科技大学 嵌入式弹性自扩展通用学习系统
CN114898290A (zh) * 2022-05-13 2022-08-12 中交信息技术国家工程实验室有限公司 一种海上船舶实时检测方法及系统
CN115100501B (zh) * 2022-06-22 2023-09-22 中国科学院大学 一种基于单点监督的精准目标检测方法
CN115131590B (zh) * 2022-09-01 2022-12-06 浙江大华技术股份有限公司 目标检测模型的训练方法、目标检测方法及相关设备
KR20240043171A (ko) 2022-09-26 2024-04-03 김준연 멀티 채널 인공지능망 기반의 선박 검출, 분류 및 추적 시스템
CN115641510B (zh) * 2022-11-18 2023-08-08 中国人民解放军战略支援部队航天工程大学士官学校 一种遥感影像舰船检测识别方法
CN116385953B (zh) * 2023-01-11 2023-12-15 哈尔滨市科佳通用机电股份有限公司 铁路货车敞车车门折页折断故障图像识别方法
CN116665149B (zh) * 2023-06-02 2024-08-13 西南交通大学 一种船舶遥感图像的细粒度小样本分类方法及系统
CN116385984B (zh) * 2023-06-05 2023-09-01 武汉理工大学 船舶吃水深度的自动检测方法和装置
CN117557912A (zh) * 2023-12-18 2024-02-13 大连海事大学 一种基于改进YoloV7模型的冰山场景识别方法
CN117576185B (zh) * 2024-01-16 2024-04-16 浙江华是科技股份有限公司 基于深度学习和ransac算法的干舷高度识别方法及系统
CN118314331B (zh) * 2024-06-06 2024-09-13 湖南大学 一种面向海面场景的目标检测方法及其系统
CN118411626B (zh) * 2024-07-02 2024-09-13 青岛国测海遥信息技术有限公司 一种卫星遥感海岸线自动提取方法、介质及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026832A1 (en) * 2009-05-20 2011-02-03 Lemoigne-Stewart Jacqueline J Automatic extraction of planetary image features
CN103514448A (zh) * 2013-10-24 2014-01-15 北京国基科技股份有限公司 船形识别方法和系统
CN107169412A (zh) * 2017-04-09 2017-09-15 北方工业大学 基于混合模型决策的遥感图像靠港船只检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
CN108369642A (zh) * 2015-12-18 2018-08-03 加利福尼亚大学董事会 根据头部计算机断层摄影解释和量化急症特征
CN105893957B (zh) 2016-03-30 2019-03-22 上海交通大学 基于视觉湖面船只检测识别与跟踪方法
EP3596449A4 (en) * 2017-03-14 2021-01-06 University of Manitoba DETECTION OF STRUCTURAL DEFECTS USING AUTOMATIC LEARNING ALGORITHMS
WO2019028725A1 (en) * 2017-08-10 2019-02-14 Intel Corporation CONVOLUTIVE NEURAL NETWORK STRUCTURE USING INVERTED CONNECTIONS AND OBJECTIVITY ANTERIORITIES TO DETECT AN OBJECT
CN107818326B (zh) 2017-12-11 2018-07-20 珠海大横琴科技发展有限公司 一种基于场景多维特征的船只检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026832A1 (en) * 2009-05-20 2011-02-03 Lemoigne-Stewart Jacqueline J Automatic extraction of planetary image features
CN103514448A (zh) * 2013-10-24 2014-01-15 北京国基科技股份有限公司 船形识别方法和系统
CN107169412A (zh) * 2017-04-09 2017-09-15 北方工业大学 基于混合模型决策的遥感图像靠港船只检测方法

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019101221A1 (zh) * 2017-12-11 2019-05-31 珠海大横琴科技发展有限公司 一种基于场景多维特征的船只检测方法及系统
US10885381B2 (en) 2017-12-11 2021-01-05 Zhuhai Da Hengqin Technology Development Co., Ltd. Ship detection method and system based on multidimensional scene features
CN108509919B (zh) * 2018-04-03 2022-04-29 哈尔滨哈船智控科技有限责任公司 一种基于深度学习对视频或图片中水线的检测和识别方法
CN108509919A (zh) * 2018-04-03 2018-09-07 哈尔滨哈船智控科技有限责任公司 一种基于深度学习对视频或图片中水线的检测和识别方法
CN108810505A (zh) * 2018-06-06 2018-11-13 合肥康之恒机械科技有限公司 一种动态目标高效跟踪图像数据优化传输方法及系统
CN108960143A (zh) * 2018-07-04 2018-12-07 北京航空航天大学 一种高分辨率可见光遥感图像中的舰船检测深度学习方法
CN109166094A (zh) * 2018-07-11 2019-01-08 华南理工大学 一种基于深度学习的绝缘子故障定位识别方法
CN109166094B (zh) * 2018-07-11 2022-03-25 华南理工大学 一种基于深度学习的绝缘子故障定位识别方法
CN109241913A (zh) * 2018-09-10 2019-01-18 武汉大学 结合显著性检测和深度学习的船只检测方法及系统
CN109241913B (zh) * 2018-09-10 2021-05-18 武汉大学 结合显著性检测和深度学习的船只检测方法及系统
CN109359557A (zh) * 2018-09-25 2019-02-19 东北大学 一种基于迁移学习的sar遥感图像舰船检测方法
CN109359557B (zh) * 2018-09-25 2021-11-09 东北大学 一种基于迁移学习的sar遥感图像舰船检测方法
CN109583424A (zh) * 2018-12-21 2019-04-05 杭州电子科技大学 一种基于衰减置信度的重叠舰船目标候选框筛选方法
CN109740665A (zh) * 2018-12-29 2019-05-10 珠海大横琴科技发展有限公司 基于专家知识约束的遮挡图像船只目标检测方法及系统
CN109859103A (zh) * 2019-01-09 2019-06-07 杭州电子科技大学 一种基于双线性内插法精确池化策略的舰船目标检测方法
CN109934088A (zh) * 2019-01-10 2019-06-25 海南大学 基于深度学习的海面船只辨识方法
CN110210561A (zh) * 2019-05-31 2019-09-06 北京市商汤科技开发有限公司 神经网络的训练方法、目标检测方法及装置、存储介质
CN110796009A (zh) * 2019-09-29 2020-02-14 航天恒星科技有限公司 基于多尺度卷积神经网络模型的海上船只检测方法及系统
CN110781785A (zh) * 2019-10-18 2020-02-11 上海理工大学 基于Faster RCNN算法改进的交通场景下行人检测方法
CN110807424B (zh) * 2019-11-01 2024-02-02 深圳市科卫泰实业发展有限公司 一种基于航拍图像的港口船舶比对方法
CN110807424A (zh) * 2019-11-01 2020-02-18 深圳市科卫泰实业发展有限公司 一种基于航拍图像的港口船舶比对方法
CN110969213A (zh) * 2019-12-10 2020-04-07 珠海大横琴科技发展有限公司 一种基于Faster RCNN的船只检测方法、装置及电子设备
CN111553184A (zh) * 2019-12-27 2020-08-18 珠海大横琴科技发展有限公司 一种基于电子围网的小目标检测方法、装置及电子设备
CN111368690A (zh) * 2020-02-28 2020-07-03 珠海大横琴科技发展有限公司 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN111368690B (zh) * 2020-02-28 2021-03-02 珠海大横琴科技发展有限公司 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN112115891B (zh) * 2020-09-24 2022-06-14 电子科技大学 一种基于一维多向抽取的sar图像港口检测方法
CN112115891A (zh) * 2020-09-24 2020-12-22 电子科技大学 一种基于一维多向抽取的sar图像港口检测方法
CN112285712A (zh) * 2020-10-15 2021-01-29 电子科技大学 一种提高sar图像中靠岸船只检测精度的方法
CN112285712B (zh) * 2020-10-15 2023-09-15 电子科技大学 一种提高sar图像中靠岸船只检测精度的方法
CN113033390A (zh) * 2021-03-23 2021-06-25 中国科学院空天信息创新研究院 一种基于深度学习的大坝遥感智能检测方法
CN113033390B (zh) * 2021-03-23 2022-12-13 中国科学院空天信息创新研究院 一种基于深度学习的大坝遥感智能检测方法
CN113379603A (zh) * 2021-06-10 2021-09-10 大连海事大学 一种基于深度学习的船舶目标检测方法
CN113379603B (zh) * 2021-06-10 2024-03-15 大连海事大学 一种基于深度学习的船舶目标检测方法
CN113920140A (zh) * 2021-11-12 2022-01-11 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的铁路货车管盖脱落故障识别方法
CN114627046A (zh) * 2021-12-30 2022-06-14 山东爱普电气设备有限公司 一种基于可见光多滤波维度的电力线检测方法及系统
CN115082694A (zh) * 2022-05-17 2022-09-20 交通运输部水运科学研究所 基于扁长形锚点和线段扩充技术的船舶检测方法和装置
CN115082694B (zh) * 2022-05-17 2024-03-05 交通运输部水运科学研究所 基于扁长形锚点和线段扩充技术的船舶检测方法和装置

Also Published As

Publication number Publication date
KR102171122B1 (ko) 2020-10-28
CN107818326B (zh) 2018-07-20
WO2019101221A1 (zh) 2019-05-31
US10885381B2 (en) 2021-01-05
EP3696726A1 (en) 2020-08-19
KR20200007084A (ko) 2020-01-21
EP3696726A4 (en) 2021-01-27
JP2020527785A (ja) 2020-09-10
JP6759475B2 (ja) 2020-09-23
US20200167601A1 (en) 2020-05-28

Similar Documents

Publication Publication Date Title
CN107818326B (zh) 一种基于场景多维特征的船只检测方法及系统
CN114202696A (zh) 基于上下文视觉的sar目标检测方法、装置和存储介质
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN109766830A (zh) 一种基于人工智能图像处理的舰船目标识别系统及方法
CN110223302A (zh) 一种基于旋转区域提取的舰船多目标检测方法
CN107016357A (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN109255298A (zh) 一种动态背景中的安全帽检测方法与系统
CN109657541A (zh) 一种基于深度学习的无人机航拍图像中的船舶检测方法
CN110189304A (zh) 基于人工智能的光学遥感图像目标在线快速检测方法
CN109712127A (zh) 一种用于机巡视频流的输电线路故障检测方法
Zhang et al. A warning framework for avoiding vessel‐bridge and vessel‐vessel collisions based on generative adversarial and dual‐task networks
CN115410102A (zh) 基于联合注意力机制的sar图像飞机目标检测方法
CN117237740A (zh) 一种基于CNN和Transformer的SAR图像分类方法
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image
Zhu et al. STAFNet: Swin transformer based anchor-free network for detection of forward-looking sonar imagery
Zhang et al. MSIF: Multisize inference fusion-based false alarm elimination for ship detection in large-scale SAR images
Liu et al. Target detection and tracking algorithm based on improved Mask RCNN and LMB
Wan et al. Orientation Detector for Small Ship Targets in SAR Images Based on Semantic Flow Feature Alignment and Gaussian Label Matching
Wang et al. Scattering Information Fusion Network for Oriented Ship Detection in SAR Images
Cai et al. LWDNet-A lightweight water-obstacles detection network for unmanned surface vehicles
Shi et al. Obstacle type recognition in visual images via dilated convolutional neural network for unmanned surface vehicles
Tienin et al. Comparative ship classification in heterogeneous dataset with pre-trained models
CN114972335A (zh) 一种用于工业检测的图像分类方法、装置及计算机设备
Li Construction method of swimming pool intelligent assisted drowning detection model based on computer feature pyramid networks
CN114202587A (zh) 基于船载单目相机的视觉特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 519031 floors 1-7, unit 1, No. 33, Haihe street, Hengqin new area, Zhuhai City, Guangdong Province

Patentee after: ZHUHAI DAHENGQIN TECHNOLOGY DEVELOPMENT Co.,Ltd.

Address before: No.33 Haihe street, Hengqin New District, Zhuhai City, Guangdong Province 519031

Patentee before: ZHUHAI DAHENGQIN TECHNOLOGY DEVELOPMENT Co.,Ltd.

CP02 Change in the address of a patent holder