Nothing Special   »   [go: up one dir, main page]

CN114119625A - 点云数据的分割与分类 - Google Patents

点云数据的分割与分类 Download PDF

Info

Publication number
CN114119625A
CN114119625A CN202111008027.1A CN202111008027A CN114119625A CN 114119625 A CN114119625 A CN 114119625A CN 202111008027 A CN202111008027 A CN 202111008027A CN 114119625 A CN114119625 A CN 114119625A
Authority
CN
China
Prior art keywords
point cloud
vehicle
cloud data
feature map
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111008027.1A
Other languages
English (en)
Inventor
马科斯·保罗·杰拉尔多卡斯特罗
金锋
金尼什·简
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN114119625A publication Critical patent/CN114119625A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/418—Theoretical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93275—Sensor installation details in the bumper area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本公开提供“点云数据的分割与分类”。一种系统可包括计算机，所述计算机包括处理器和存储器，所述存储器存储可由所述处理器执行以接收点云数据的指令。所述指令还包括用于基于所述点云数据来生成多个特征图的指令，所述多个特征图中的每个特征图对应于所述点云数据的参数。所述指令还包括用于将所述多个特征图聚合成经聚合特征图的指令。所述指令还包括用于基于所述经聚合特征图经由前馈神经网络生成分割输出或分类输出中的至少一者的指令。

Description

点云数据的分割与分类
技术领域
本公开总体上涉及车辆传感器，并且更具体地涉及使用一个或多个神经网络进行雷达分类和/或雷达点云分割的系统和方法。
背景技术
各种传感器可以提供数据以识别车辆周围的物理(即，真实世界)环境中的对象。例如，诸如摄像机、激光雷达、雷达、超声波传感器等的传感器可以提供数据以识别对象。车辆计算机可以在环境中操作车辆时从传感器接收数据。
发明内容
一种系统包括计算机，所述计算机包括处理器和存储器，所述存储器存储可由所述处理器执行以接收点云数据的指令。所述指令还包括用于基于所述点云数据来生成多个特征图的指令，所述多个特征图中的每个特征图对应于所述点云数据的参数。所述指令还包括用于将所述多个特征图聚合成经聚合特征图的指令。所述指令还包括用于基于所述经聚合特征图经由前馈神经网络生成分割输出或分类输出中的至少一者的指令。
在其他特征中，所述前馈神经网络包括多层感知器。
在其他特征中，所述指令还包括用于基于所述分割输出或所述分类输出中的至少一者来操作车辆的指令。
在其他特征中，所述点云数据包括由车辆雷达传感器提供的雷达点云数据。
在其他特征中，雷达点云数据包括对应于单个雷达循环的雷达点云数据。
在其他特征中，所述指令还包括用于进行以下操作的指令：将第一滑动核操作(sliding kemel operation)应用于所述雷达点云数据以生成第一特征图，以及将第二滑动核操作应用于所述雷达点云数据以生成第二特征图，其中所述第二特征图不同于所述第一特征图。
在其他特征中，基于第一车辆的物理大小来确定第一滑动核操作的核，并且基于第二车辆的物理大小来确定第二滑动核操作的核，其中所述第二车辆不同于所述第一车辆。
在其他特征中，所述指令还包括用于进行以下操作的指令：将所述经聚合特征图展平(flatten)；以及将所述展平的经聚合特征图与所述点云数据拼接。
在其他特征中，所述多个特征图在最大池化层处被聚合成所述经聚合特征图。
在其他特征中，所述前馈神经网络在所述分割输出内为所述点云数据内的每个点分配对象标签。
一种方法包括接收点云数据。所述方法还包括基于所述点云数据来生成多个特征图，所述多个特征图中的每个特征图对应于所述点云数据的参数。所述方法还包括将所述多个特征图聚合成经聚合特征图。所述方法还包括基于所述经聚合特征图经由前馈神经网络生成分割输出或分类输出中的至少一者。
在其他特征中，所述前馈神经网络包括多层感知器。
在其他特征中，所述方法还包括用于基于所述分割输出或所述分类输出中的至少一者来操作车辆的指令。
在其他特征中，所述点云数据包括由车辆雷达传感器提供的雷达点云数据。
在其他特征中，雷达点云数据包括对应于单个雷达循环的雷达点云数据。
在其他特征中，所述方法还包括将第一滑动核操作应用于所述雷达点云数据以生成第一特征图，以及将第二滑动核操作应用于所述雷达点云数据以生成第二特征图，其中所述第二特征图不同于所述第一特征图。
在其他特征中，基于第一车辆的物理大小来确定第一滑动核操作的核，并且基于第二车辆的物理大小来确定第二滑动核操作的核，其中所述第二车辆不同于所述第一车辆。
在其他特征中，所述方法还包括将所述经聚合特征图展平，以及将所述展平的经聚合特征图与所述点云数据拼接。
在其他特征中，所述多个特征图在最大池化层处被聚合成所述经聚合特征图。
在其他特征中，所述前馈神经网络在所述分割输出内为所述点云数据内的每个点分配对象标签。
附图说明
图1是示出车辆的示例性车辆控制系统的框图。
图2是系统内的示例性服务器的图示。
图3是示例性深度神经网络的图示。
图4是深度神经网络的框图。
图5是示出深度神经网络的示例性滑动核操作的图示。
图6是示出用于基于点云数据来生成对象分类的示例性过程的流程图。
图7是示出用于基于点云数据来生成语义输出的示例性过程的流程图。
具体实施方式
汽车雷达可用于高级驾驶员辅助系统(ADAS)应用，诸如自适应巡航控制(ACC)、侧向来车警示系统(CTA)等。本公开涉及使用一个或多个神经网络进行雷达分类和/或雷达点云分割输出的系统和方法，该输出可用于识别对象，诸如摩托车或其他车辆。一个或多个车辆控制系统可以使用雷达分类和/或雷达点云分割来控制一个或多个车辆操作，诸如修改车辆速度、执行车辆操纵等。
图1示出了包括车辆计算机110的示例性车辆控制系统100，所述车辆计算机被编程为接收点云数据作为输入并且对点云数据进行分类和/或分割。点云数据可以基于传感器115的测量结果。在示例性实现方式中，传感器115包括向计算机110提供雷达点云数据的雷达。在一些实现方式中，雷达点云数据对应于来自单个雷达循环的数据。在一些实现方式中，雷达点云数据对应于来自多个雷达循环的数据。如本文更详细描述的，计算机110对雷达点云内的雷达点集群进行分类和/或对雷达点云进行分割，例如，将雷达点分成类。
现在转到图1，车辆105包括车辆计算机110、传感器115、用于致动各种车辆部件125的致动器120以及车辆通信模块130。通信模块130允许车辆计算机110例如经由消息传递或广播协议(诸如专用短程通信(DSRC)、蜂窝和/或可以支持车辆对车辆、车辆对基础设施、车辆对云通信等的其他协议)和/或经由分组网络135与服务器140和/或用户装置145进行通信。
车辆计算机110包括诸如已知的处理器和存储器。所述存储器包括一种或多种形式的计算机可读介质，并且存储可由车辆计算机110执行以用于执行各种操作(包括如本文所公开的操作)的指令。
车辆计算机110可以自主模式、半自主模式或非自主(或手动)模式来操作车辆105。出于本公开的目的，自主模式被限定为其中车辆105的推进、制动和转向中的每一者都由车辆计算机110控制的模式；在半自主模式中，车辆计算机110控制车辆105的推进、制动和转向中的一者或两者；在非自主模式中，人类操作员控制车辆105的推进、制动和转向中的每一者。
车辆计算机110可以包括编程以操作车辆105制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆105的加速)、转向、变速器、气候控制、内部灯和/或外部灯、喇叭、车门等中的一者或多者，以及确定车辆计算机110(而非人类操作员)是否以及何时控制此类操作。
车辆计算机110可包括一个以上处理器或例如经由如下面进一步描述的车辆通信网络(诸如，通信总线)通信地耦合到所述一个以上处理器，所述一个以上处理器例如包括在车辆105中所包括的用于监测和/或控制各种车辆部件125的电子控制器单元(ECU)等中，例如变速器控制器、制动控制器、转向控制器等。车辆计算机110通常被布置用于在车辆通信网络上进行通信，所述车辆通信网络可包括车辆105中的总线，诸如控制器局域网(CAN)等，和/或其他有线和/或无线机制。
经由车辆105网络，车辆计算机110可以向车辆105中的各种装置(例如，传感器115、致动器120、ECU等)传输消息和/或从各种装置接收消息(例如，CAN消息)。替代地或另外，在车辆计算机110实际上包括多个装置的情况下，车辆通信网络可以用于在本公开中表示为车辆计算机110的装置之间的通信。此外，如下文所提及，各种控制器和/或传感器115可以经由车辆通信网络向车辆计算机110提供数据。
车辆105传感器115可以包括诸如已知的用于向车辆计算机110提供数据的多种装置。例如，传感器115可以包括设置在车辆105的顶部上、在车辆105的前挡风玻璃后面、在车辆105周围等的光探测和测距(激光雷达)传感器115等，所述传感器提供车辆105周围的对象的相对位置、大小和形状。作为另一示例，固定到车辆105保险杠的一个或多个雷达传感器115可提供数据来提供对象相对于车辆105的位置的位置。替代地或另外，传感器115还可以例如包括相机传感器115(例如，前视、侧视等)，所述相机传感器提供来自车辆105周围的区域的图像。在本公开的上下文中，对象是具有质量并可以通过可由传感器115检测到的物理现象(例如，光或其他电磁波或声音等)来表示的物理(即，物质)物品。因此，车辆105以及包括如下面所讨论的其他物品都落在本文的“对象”的定义内。
车辆计算机110被编程为基本上连续地、周期性地和/或在服务器140指示时等从一个或多个传感器115接收数据。所述数据可以例如包括车辆105的位置。位置数据指定地面上的一个或多个点并可以为已知形式，例如经由已知的使用全球定位系统(GPS)的导航系统获得的地理坐标，诸如纬度和经度坐标。另外或替代地，数据可以包括对象(例如，车辆、杆、标志、路沿、自行车、树、灌木丛等)相对于车辆105的位置。作为一个示例，数据可以是车辆105周围的环境的图像数据。本文的图像数据是指可以由相机传感器115获取的数字图像数据，例如，包括具有强度值和颜色值的像素。传感器115可以安装到车辆105中或上的任何合适的位置，例如，在车辆105保险杠上、在车辆105的车顶上等，以收集车辆105周围的环境的图像。
车辆105致动器120经由可以根据如已知的适当控制信号来致动各种车辆子系统的电路、芯片或其他电子和/或机械部件来实现。致动器120可以用于控制部件125，包括车辆105的制动、加速和转向。
在本公开的上下文中，车辆部件125是适于执行机械或机电功能或操作(诸如使车辆105移动、使车辆105减速或停止、使车辆105转向等)的一个或多个硬件部件。部件125的非限制性示例包括推进部件(其包括例如内燃发动机和/或电动马达等)、变速器部件、转向部件(例如，其可包括方向盘、转向齿条等中的一者或多者)、悬架部件(例如，其可包括阻尼器(例如减振器或滑柱)、套管、弹簧、控制臂、球头节、连杆等中的一者或多者)、制动部件、泊车辅助部件、自适应巡航控制部件、自适应转向部件、一个或多个被动约束系统(例如，气囊)、可移动座椅等。
另外，车辆计算机110可被配置用于经由车辆对车辆通信模块130或接口与车辆105外部的装置通信，例如，通过车辆对车辆(V2V)或车辆对基础设施(V2X)无线通信(蜂窝和/或DSRC等)与另一车辆和/或其他计算机(通常经由直接射频通信)通信。通信模块130可包括车辆105的计算机110可通过其进行通信的一种或多种机制(诸如收发器)，包括无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望组合以及任何期望的网络拓扑(或当利用多种通信机制时的多种拓扑)。经由通信模块130提供的示例性通信包括提供数据通信服务的蜂窝、蓝牙、IEEE 802.11、专用短程通信(DSRC)和/或包括互联网的广域网(WAN)。
网络135表示车辆计算机110可以通过其与远程计算装置(例如，服务器140、另一个车辆计算机等)进行通信的一种或多种机制。因此，网络135可以是各种有线或无线通信机制中的一者或多者，包括有线(例如，电缆和光纤)和/或无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望的组合以及任何期望的网络拓扑(或当利用多种通信机制时的多种拓扑)。示例性通信网络包括提供数据通信服务的无线通信网络(例如，使用
Figure BDA0003237677240000071
低功耗(BLE)、IEEE 802.11、车辆对车辆(V2V)(诸如专用短程通信(DSRC))等)、局域网(LAN)和/或包括互联网的广域网(WAN)。
服务器140是在车辆105外部并且通常在地理上远离车辆105的计算机。服务器140包括诸如已知的第二处理器和第二存储器。第二存储器包括一种或多种形式的计算机可读介质，并且存储可由第二处理器执行以用于执行各种操作(包括如本文所述的操作)的指令。例如，服务器140可以是基于云的服务器。此外，可以经由网络135(例如，互联网或某一其他广域网)来访问服务器140。
图2是示例服务器145的框图。服务器145包括计算机235和通信模块240。计算机235包括处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并且存储可由计算机235执行以用于执行各种操作(包括如本文所公开的操作)的指令。通信模块240允许计算机235与其他装置(诸如车辆105)通信。
图3是示例性深度神经网络(DNN)300的图示。DNN 300可以表示本文描述的神经网络。DNN 300包括多个节点305，并且节点305被布置成使得DNN 300包括输入层、一个或多个隐藏层和输出层。DNN 400的每一层可以包括多个节点305。尽管图3示出了三(3)个隐藏层，但是应理解，DNN 300可以包括附加的或更少的隐藏层。输入层和输出层还可以包括一(1)个以上的节点305。
节点305有时被称为人工神经元305，因为它们被设计成模拟生物(例如人类)神经元。每个神经元305的一组输入(由箭头表示)各自乘以相应的权重。然后，可以将经加权的输入在输入函数中求和，以提供净输入，所述净输入可能通过偏差进行调整。然后，可以将净输入提供给激活函数，所述激活函数进而为连接的神经元305提供输出。所述激活函数可以是通常基于经验分析来选择的各种合适的函数。如图3中的箭头所示，接着可以提供神经元305输出以包括在下一层中的一个或多个神经元305的一组输入中。
可以训练DNN 300以接受数据作为输入并基于输入生成输出。DNN 300可以用基础真值数据(即关于真实世界状况或状态的数据)进行训练。例如，DNN 300可以用基础真值数据进行训练或者由处理器用附加数据进行更新。例如，可以通过使用高斯分布初始化权重，并且可以将每个节点305的偏差设置为零。训练DNN 300可以包括经由合适技术(诸如反向传播)加以优化来更新权重和偏差。基础真值数据可以包括但不限于对点云内的对象进行分类和/或识别的数据。
图4示出了根据本公开的示例性实现方式的示例DNN 300。DNN 300接收点云数据，诸如雷达点云数据。对点云数据执行一个或多个滑动核操作。图4示出了对点云数据执行的三(3)个不同的滑动核操作405、410、415以产生三(3)个对应的特征图420、425、430。滑动核操作405、410、415表示跨点云数据应用以从点云数据中提取特定特征的滤波器，并且特征图420、425、430表示经由相应的滑动核操作405、410、415提取的各种特征。例如，滑动核操作405、410、415可以表示其中基于经加权值来处理云点数据并且通过将云点数据乘以经加权值并将全部相乘后的值相加来获得输出值(例如，特征)的操作。在示例性实现方式中，滑动核操作405可以对与位置参数相对应的雷达点云的特征进行滤波，滑动核操作410可以对与雷达截面(RCS)参数相对应的雷达点云的特征进行滤波，并且滑动核操作415可以对与多普勒参数相对应的雷达点云的特征进行滤波。虽然仅示出了三(3)个滑动核操作和特征图，但是应当理解，DNN 300可以包括附加的或更少的滑动核操作和特征图。滑动核操作405、410、415的核基于感兴趣的对象的物理大小。在示例性实现方式中，滑动核操作405、410、415的各种核基于要由雷达传感器115检测的感兴趣的车辆的物理大小。例如，可以基于摩托车的物理大小来确定第一滑动核操作的核，并且可以基于轿车或公共汽车的物理大小来确定第二滑动核操作的核。
特征图420、425、430被提供给池化层435。池化层435可以对接收到的特征图420、425、430执行下采样操作。例如，池化层435可以包括最大(maximum/max)池化层，所述最大池化层通过将输入划分为矩形池化区域来执行下采样操作，并计算每个区域的最大值以产生经聚合特征图440。池化层435可以应用于所有接收到的特征图420、425、430以生成经聚合特征图440。
可以将经聚合特征图440提供给第一多层前馈网络(FNN)445以进行对象分类。第一FNN 445可以是被编程为基于经聚合特征图440输出对象分类的经训练的FNN。例如，基于经聚合特征图440内的特征，第一FNN 445对由一个或多个雷达传感器115检测到的一个或多个对象进行分类。例如，第一FNN 445可以将检测到的对象分类为特定类型的车辆，诸如摩托车、轿车、公共汽车等。
也可以将经聚合特征图440提供给展平层450。展平层450将矩阵形式的经聚合特征图440变换为单列值以用于处理目的。点云数据可以与展平的经聚合特征图数据拼接以形成包括展平的经聚合特征图数据和点云数据的拼接向量。拼接向量被提供为第二FNN455的输入，所述第二FNN 455输出经分割的点云数据。例如，点云内的每个点可以被分类成由雷达传感器115检测到的一类对象，例如语义分割。例如，每个雷达点可以分配给对象标签。在一个或多个实现方式中，FNN 445、455包括多层感知器(MLP)。
图5示出了根据本公开的示例性滑动核操作。核505-1(例如，滤波器)在接收到的点云数据的第0个位置处开始，并且水平地和竖直地跨过(例如移动通过)点云数据。核505的水平步长和竖直步长由车辆105使用的雷达传感器115的距离(纵向)和横距(分辨率)确定。核505-2表示核505-2在位置i处的位置，其中i是整数，并且核505-3表示核505-3在位置j处的位置，其中j是不同于i的整数。点510表示点云数据内的点。在一个或多个示例性实现方式中，点510可以表示由雷达传感器115测量到的雷达点。在该实现方式中，雷达点510可以表示与雷达点510相关联的参数。所述参数可以包括位置参数、雷达截面(RCS)参数和/或多普勒参数中的至少一者。
图6是用于生成指示对象分类的输出的示例性过程600的流程图。过程600的框可以由计算机110或计算机235执行。过程600开始于框605，其中确定是否接收到点云数据。在示例性实现方式中，DNN 300从雷达传感器115接收雷达点云。如果尚未接收到雷达点云，则过程600返回到框605。
否则，在框610处，将一个或多个滑动核操作405、410、415应用于点云数据以生成对应的特征图420、425、430。可将滑动核操作405、410、415并行应用于点云数据以生成特征图420、425、430。例如，在每个雷达循环数据的基础上将不同的滑动核操作405、410、415应用于雷达点云数据。在框615处，将特征图420、425、430提供给池化层440以生成经聚合特征图。在框620处，将经聚合特征图提供给第一经训练的MLP 445以进行对象分类。在框625处，计算机110基于对象分类来控制车辆105的一个或多个操作。
图7是用于为点云内的一个或多个点生成类别标签的示例性过程700的流程图。过程700的框可以由计算机110或计算机235执行。过程700开始于框705，其中确定是否接收到点云数据。在示例性实现方式中，DNN 300从雷达传感器115接收雷达点云。如果尚未接收到雷达点云，则过程700返回到框605。
否则，在框710处，将一个或多个滑动核操作405、410、415应用于点云数据以生成对应的特征图420、425、430。在框715处，将特征图提供给池化层435以生成经聚合特征图。在框720处，经聚合特征图在展平层450处展平。在框725处，将展平的点云数据与展平的经聚合特征图数据拼接以形成拼接向量。在框730处，第二MLP455确定点云内的每个点的对象标签。在框735处，计算机110基于对象标签来控制车辆105的一个或多个操作。
如本文所使用，副词“基本上”意指形状、结构、测量结果、数量、时间等因为材料、机加工、制造、数据传输、计算速度等的缺陷而可能偏离精确描述的几何形状、距离、测量结果、数量、时间等。
通常，所描述的计算系统和/或装置可采用多个计算机操作系统中的任一者，包括但绝不限于以下版本和/或变型：
Figure BDA0003237677240000121
应用、AppLink/Smart Device Link中间件、Microsoft
Figure BDA0003237677240000122
操作系统、Microsoft
Figure BDA0003237677240000123
操作系统、Unix操作系统(例如，由加州红杉海岸的甲骨文公司发布的
Figure BDA0003237677240000124
操作系统)、由纽约阿蒙克市的国际商业机器公司发布的AIX UNIX操作系统、Linux操作系统、由加州库比蒂诺的苹果公司发布的Mac OSX和iOS操作系统、由加拿大滑铁卢的黑莓有限公司发布的BlackBerry OS以及由谷歌公司和开放手机联盟开发的Android操作系统、或由QNX Software Systems供应的
Figure BDA0003237677240000125
CAR信息娱乐平台。计算装置的示例包括但不限于车载第一计算机、计算机工作站、服务器、台式机、笔记本、膝上型计算机或手持计算机、或一些其他计算系统和/或装置。
计算机和计算装置通常包括计算机可执行指令，其中所述指令可能能够由一个或多个计算装置(诸如以上所列出的那些)执行。可以从使用多种编程语言和/或技术创建的计算机程序编译或解译计算机可执行指令，所述编程语言和/或技术单独地或者组合地包括但不限于JavaTM、C、C++、Matlab、Simulink、Stateflow、Visual Basic、Java Script、Perl、HTML等。这些应用中的一些可以在诸如Java虚拟机、Dalvik虚拟机等虚拟机上编译和执行。通常，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令，并执行这些指令，从而执行一个或多个过程，包括本文所述过程中的一者或多者。此类指令和其他数据可以使用各种计算机可读介质来存储和传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
存储器可以包括计算机可读介质(也称为处理器可读介质)，所述计算机可读介质包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可以采取许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质可以包括例如光盘或磁盘以及其他持久性存储器。易失性介质可以包括例如通常构成主存储器的动态随机存取存储器(DRAM)。此类指令可以由一种或多种传输介质传输，所述传输介质包括同轴电缆、铜线和光纤，包括构成联接到ECU的处理器的系统总线的电线。计算机可读介质的常见形式包括例如软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡片、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带、或者计算机可从其读取的任何其他介质。
数据库、数据存储库或本文所述的其他数据存储装置可以包括用于存储、访问和检索各种数据的各种机构，包括分层数据库、文件系统中的文件集、呈专用格式的应用数据库、关系数据库管理系统(RDBMS)等。每个此类数据存储装置通常包括在采用计算机操作系统(诸如以上所提到的那些操作系统中的一个操作系统)的计算装置内，并且经由网络以多种方式中的任一种或多种方式来访问。文件系统可以从计算机操作系统访问，并且可以包括以各种格式存储的文件。除了用于创建、存储、编辑和执行已存储的程序的语言(诸如上述PL/SQL语言)之外，RDBMS还通常采用结构化查询语言(SQL)。
在一些示例中，系统元件可以被实现为一个或多个计算装置(例如，服务器、个人计算机等)上、存储在与其相关联的计算机可读介质(例如，磁盘、存储器等)上的计算机可读指令(例如，软件)。计算机程序产品可以包括存储在计算机可读介质上的用于执行本文所描述的功能的此类指令。
关于本文描述的介质、过程、系统、方法、启发等，应当理解，尽管此类过程等的步骤已被描述为按照某一有序的顺序发生，但是可以通过以与本文所述顺序不同的顺序执行所述步骤来实践此类过程。还应当理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文描述的某些步骤。换句话说，本文对过程的描述出于说明某些实施例的目的而提供，并且决不应被解释为限制权利要求。
因此，应理解，以上描述意图为说明性的而非限制性的。形容词“第一”和“第二”在整个此文件中用作标识符并且无意暗示重要性或次序。在阅读了以上描述之后，除了所提供的示例之外的许多实施例和应用对于本领域技术人员而言将是明显的。本发明的范围不应参考以上描述来确定，而应参考所附权利要求连同这些权利要求赋予的等效物的全部范围来确定。设想并预期未来的发展将在本文讨论的技术中发生，并且所公开的系统和方法将并入到此类未来实施例中。总之，应当理解，本发明能够进行修改和变化，并且仅受所附权利要求的限制。
除非本文做出明确的相反指示，否则权利要求中使用的所有术语意图给出如本领域技术人员所理解的普通和一般的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。
根据本发明，提供了一种系统，所述系统具有计算机，所述计算机包括处理器和存储器，所述存储器存储可由所述处理器执行以进行以下操作的指令：接收点云数据；基于所述点云数据生成多个特征图，所述多个特征图中的每个特征图对应于所述点云数据的参数；将所述多个特征图聚合成经聚合特征图；并且基于所述经聚合特征图经由前馈神经网络生成分割输出或分类输出中的至少一者。
根据一个实施例，所述前馈神经网络包括多层感知器。
根据一个实施例，所述指令还包括用于基于所述分割输出或所述分类输出中的至少一者来操作车辆的指令。
根据一个实施例，所述点云数据包括由车辆雷达传感器提供的雷达点云数据。
根据一个实施例，雷达点云数据包括对应于单个雷达循环的雷达点云数据。
根据一个实施例，所述指令还包括用于进行以下操作的指令：将第一滑动核操作应用于所述雷达点云数据以生成第一特征图；以及将第二滑动核操作应用于所述雷达点云数据以生成第二特征图，其中所述第二特征图不同于所述第一特征图。
根据一个实施例，基于第一车辆的物理大小来确定第一滑动核操作的核，并且基于第二车辆的物理大小来确定第二滑动核操作的核，其中所述第二车辆不同于所述第一车辆。
根据一个实施例，所述指令还包括用于进行以下操作的指令：将所述经聚合特征图展平；以及将所述展平的经聚合特征图与所述点云数据拼接。
根据一个实施例，所述多个特征图在最大池化层处被聚合成所述经聚合特征图。
根据一个实施例，所述前馈神经网络在所述分割输出内为所述点云数据内的每个点分配对象标签。
根据本发明，一种方法包括：接收点云数据；基于所述点云数据生成多个特征图，所述多个特征图中的每个特征图对应于所述点云数据的参数；将所述多个特征图聚合成经聚合特征图；并且基于所述经聚合特征图经由前馈神经网络生成分割输出或分类输出中的至少一者。
在本发明的一个方面，所述前馈神经网络包括多层感知器。
在本发明的一个方面，所述方法包括基于所述分割输出或所述分类输出中的至少一者来操作车辆。
在本发明的一个方面，所述点云数据包括由车辆雷达传感器提供的雷达点云数据。
在本发明的一个方面，雷达点云数据包括对应于单个雷达循环的雷达点云数据。
在本发明的一个方面，该方法包括将第一滑动核操作应用于所述雷达点云数据以生成第一特征图；以及将第二滑动核操作应用于所述雷达点云数据以生成第二特征图，其中所述第二特征图不同于所述第一特征图。
在本发明的一个方面，基于第一车辆的物理大小来确定第一滑动核操作的核，并且基于第二车辆的物理大小来确定第二滑动核操作的核，其中所述第二车辆不同于所述第一车辆。
在本发明的一个方面，该方法包括将所述经聚合特征图展平；以及将所述展平的经聚合特征图与所述点云数据拼接。
在本发明的一个方面，所述多个特征图在最大池化层处被聚合成所述经聚合特征图。
在本发明的一个方面，在所述分割输出内为所述点云数据内的每个点分配对象标签。

Claims (10)

1.一种系统，其包括计算机，所述计算机包括处理器和存储器，所述存储器存储指令，所述指令能够由所述处理器执行以：
接收点云数据；
基于所述点云数据来生成多个特征图，所述多个特征图中的每个特征图对应于所述点云数据的参数；
将所述多个特征图聚合成经聚合特征图；以及
基于所述经聚合特征图经由前馈神经网络生成分割输出或分类输出中的至少一者。
2.如权利要求1所述的系统，其中所述前馈神经网络包括多层感知器。
3.如权利要求1所述的系统，其中所述指令还包括用于基于所述分割输出或所述分类输出中的至少一者来操作车辆的指令。
4.如权利要求1所述的系统，其中所述点云数据包括由车辆雷达传感器提供的雷达点云数据。
5.如权利要求4所述的系统，其中所述雷达点云数据包括对应于单个雷达循环的雷达点云数据。
6.如权利要求5所述的系统，其中所述指令还包括用于进行以下操作的指令：将第一滑动核操作应用于所述雷达点云数据以生成第一特征图；以及将第二滑动核操作应用于所述雷达点云数据以生成第二特征图，其中所述第二特征图不同于所述第一特征图。
7.如权利要求6所述的系统，其中基于第一车辆的物理大小来确定第一滑动核操作的核，并且基于第二车辆的物理大小来确定第二滑动核操作的核，其中所述第二车辆不同于所述第一车辆。
8.如权利要求1所述的系统，其中所述指令还包括用于进行以下操作的指令：将所述经聚合特征图展平；以及将所述展平的经聚合特征图与所述点云数据拼接。
9.如权利要求1所述的系统，其中所述多个特征图在最大池化层处被聚合成所述经聚合特征图。
10.如权利要求1所述的系统，其中所述前馈神经网络在所述分割输出内为所述点云数据内的每个点分配对象标签。
CN202111008027.1A 2020-09-01 2021-08-30 点云数据的分割与分类 Pending CN114119625A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/009,040 US11698437B2 (en) 2020-09-01 2020-09-01 Segmentation and classification of point cloud data
US17/009,040 2020-09-01

Publications (1)

Publication Number Publication Date
CN114119625A true CN114119625A (zh) 2022-03-01

Family

ID=80221816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111008027.1A Pending CN114119625A (zh) 2020-09-01 2021-08-30 点云数据的分割与分类

Country Status (3)

Country Link
US (1) US11698437B2 (zh)
CN (1) CN114119625A (zh)
DE (1) DE102021122407A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11614514B2 (en) * 2020-03-27 2023-03-28 Intel Corporation Apparatus, system and method of generating radar perception data
US20240054660A1 (en) * 2022-08-11 2024-02-15 Motional Ad Llc Point cloud alignment systems for generating high definition maps for vehicle navigation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127725B (zh) 2016-05-16 2019-01-22 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
US20190108447A1 (en) * 2017-11-30 2019-04-11 Intel Corporation Multifunction perceptrons in machine learning environments
DE102018203591B3 (de) 2018-03-09 2019-07-04 Conti Temic Microelectronic Gmbh Verfahren und System zur Klassifikation von Verkehrsteilnehmern
CN109325972B (zh) 2018-07-25 2020-10-27 深圳市商汤科技有限公司 激光雷达稀疏深度图的处理方法、装置、设备及介质

Also Published As

Publication number Publication date
US11698437B2 (en) 2023-07-11
US20220065992A1 (en) 2022-03-03
DE102021122407A1 (de) 2022-03-03

Similar Documents

Publication Publication Date Title
US11400940B2 (en) Crosswind risk determination
US11107228B1 (en) Realistic image perspective transformation using neural networks
US11887323B2 (en) Self-supervised estimation of observed vehicle pose
CN112438729A (zh) 驾驶员警觉性检测系统
US11100372B2 (en) Training deep neural networks with synthetic images
US11657635B2 (en) Measuring confidence in deep neural networks
CN113298250A (zh) 用于定位和对象检测的神经网络
CN114119625A (zh) 点云数据的分割与分类
US11164457B2 (en) Vehicle control system
CN116136963A (zh) 自适应地修剪神经网络系统
US10977783B1 (en) Quantifying photorealism in simulated data with GANs
US11823465B2 (en) Neural network object identification
US20230162039A1 (en) Selective dropout of features for adversarial robustness of neural network
US20240046619A1 (en) Holographic display calibration using machine learning
US20230162480A1 (en) Frequency-based feature constraint for a neural network
US11462020B2 (en) Temporal CNN rear impact alert system
CN114581865A (zh) 深度神经网络中的置信度测量
US11068749B1 (en) RCCC to RGB domain translation with deep neural networks
US20210103800A1 (en) Certified adversarial robustness for deep reinforcement learning
US20240046627A1 (en) Computationally efficient unsupervised dnn pretraining
US11321587B2 (en) Domain generation via learned partial domain translations
US20230139521A1 (en) Neural network validation system
CN117095266A (zh) 神经网络中的生成域自适应

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination