Nothing Special   »   [go: up one dir, main page]

CN111103594A - 车辆中区分虚假目标的装置和方法及包括其的车辆 - Google Patents

车辆中区分虚假目标的装置和方法及包括其的车辆 Download PDF

Info

Publication number
CN111103594A
CN111103594A CN201811482880.5A CN201811482880A CN111103594A CN 111103594 A CN111103594 A CN 111103594A CN 201811482880 A CN201811482880 A CN 201811482880A CN 111103594 A CN111103594 A CN 111103594A
Authority
CN
China
Prior art keywords
interest
region
target
false
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811482880.5A
Other languages
English (en)
Other versions
CN111103594B (zh
Inventor
柳玟均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Publication of CN111103594A publication Critical patent/CN111103594A/zh
Application granted granted Critical
Publication of CN111103594B publication Critical patent/CN111103594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4804—Auxiliary means for detecting or identifying lidar signals or the like, e.g. laser illuminators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

虚假目标区分装置包括：图像匹配单元，被配置为将关于所获取的二维图像的坐标信息与关于所获取的三维图像的坐标信息进行匹配；目标映射单元，被配置为将感测到的目标信息映射到与坐标信息匹配的匹配图像；关注区域提取单元，被配置为选择映射到匹配图像的目标作为关注区域并提取所选择的关注区域；以及确定单元，被配置为通过确定所提取的关注区域是否是虚假目标来执行虚假目标分类/学习。

Description

车辆中区分虚假目标的装置和方法及包括其的车辆
技术领域
本发明涉及一种车辆中区分虚假目标的装置。
背景技术
通常，各种系统被安装在车辆中以保护驾驶员和乘客，以协助驾驶并改善乘坐舒适性。通过利用各种传感器和信息通信技术来改善这些系统。
在这样的系统中，通过相机使用图像传感器识别车道并执行自动转向的技术已经投入实际使用。
车辆中提供的图像识别/处理装置可以检测关于行驶车道的图像信息、关于跟随车辆的图像信息以及关于左右车道的图像信息，并且然后通过显示装置显示图像信息以允许驾驶员方便地识别车道并提供车辆行驶的道路上的状况信息以及关于附近车辆的行驶信息。
此外，最近已经开发了一种传感器融合系统，其能够融合通过图像传感器和雷达收集的图像信息和雷达信息，并从所收集的信息中提取必要的信息。
传感器融合系统用于提供自动驾驶系统，该自动驾驶系统被配置为使用相机识别车道信息并控制车辆的自动转向或车辆的智能巡航控制功能。
然而，传感器融合系统无法区分道路上的护栏和道路边界，从而在某些情况下产生虚假目标。在其他情况下，由于雷达电磁波的漫反射，传感器融合系统产生虚假目标。这种虚假目标导致对车辆的错误控制。
另外，在使用雷达数据的情况下，很难在真实障碍物数据和虚假目标数据之间区分，并因此难以识别虚假目标。另外，由于雷达数据的图像处理是不可能的，因此难以基于雷达数据来识别虚假目标。
因此，需要一种能够快速准确地从关于车辆的图像信息中区分虚假目标的虚假目标区分装置。
发明内容
本发明涉及用于车辆中区分虚假目标的装置。特定实施例涉及车辆中的虚假目标区分装置和方法，用于根据车辆图像信息区分虚假目标。
因此，本发明的实施例涉及用于车辆中区分虚假目标的装置和方法，以及包括该装置和方法的车辆，其基本上消除了由于现有技术的限制和缺点导致的一个或多个问题。
本发明的实施例可以提供车辆中的虚假目标区分装置和方法，该装置和方法通过将图像与传感器融合相匹配以检测虚假目标，通过提取关注区域来执行虚假目标分类/学习，从而快速准确地区分虚假目标，以及包括该装置和方法的车辆。
本发明的实施例还可以提供车辆中的虚假目标区分装置和方法，用于通过基于所提取的关注区域执行虚假目标分类/学习来最小化计算时间以快速区分虚假目标，以及包括该装置和方法的车辆。
本发明的其它优点和特征将部分地在下面的描述中阐述，并且将部分地对于本领域普通技术人员在研究下文后将变得显而易见，或者可以从本发明的实践中获知。本发明的目的和其他优点可以通过书面说明书及其权利要求以及附图中特别指出的结构来实现和获得。
如本文具体和广泛描述的，用于在车辆中区分虚假目标的装置包括图像匹配单元，被配置为将关于所获取的二维图像的坐标信息与关于所获取的三维图像的坐标信息进行匹配。目标映射单元被配置为将感测到的目标信息映射到与坐标信息匹配的匹配图像。关注区域提取单元被配置为选择映射到匹配图像的目标作为关注区域并提取所选择的关注区域。确定单元被配置为通过确定所提取的关注区域是否是虚假目标来执行虚假目标分类/学习。
本文中，本发明的实施例还可以包括尺寸调整单元，被配置为检查由关注区域提取单元提取的关注区域的尺寸，以将提取的关注区域的尺寸与参考尺寸进行比较，并且当提取的关注区域的尺寸不同于参考尺寸时，将提取的关注区域的尺寸调整为参考尺寸。
在本发明的另一方面，在车辆的虚假目标区分装置中区分虚假目标的方法包括：获取二维图像和三维图像；将关于获取的二维图像的坐标信息与关于获取的三维图像的坐标信息进行匹配；将感测到的目标信息映射到与坐标信息匹配的匹配图像；选择映射到匹配图像的目标作为关注区域并提取选择的关注区域；以及通过确定提取的关注区域是否是虚假目标来执行虚假目标分类/学习。
在本发明的另一方面，其上记录有用于执行根据本发明的一个实施例的车辆虚假目标区分装置的虚假目标区分方法的程序的计算机可读记录介质可以执行在虚假目标区分方法中提供的操作。
在本发明的另一方面，一种车辆包括：传感器融合装置，被配置为感测位于车辆附近的目标；以及虚假目标区分装置，通信地耦接到传感器融合装置，以将关于所获取的二维图像的坐标信息与关于所获取的三维图像的坐标信息进行匹配，并基于用坐标信息匹配的匹配图像来区分虚假目标，其中，虚假目标区分装置包括：图像匹配单元，被配置为将关于获取的二维图像的坐标信息与关于获取的三维图像的坐标信息进行匹配；目标映射单元，被配置为将由传感器融合装置感测的目标信息映射到用坐标信息匹配的匹配图像；关注区域提取单元，被配置为选择映射到匹配图像的目标作为关注区域并提取选择的关注区域；以及确定单元，被配置为通过确定提取的关注区域是否是虚假目标来执行虚假目标分类/学习。
应理解，本发明的前述一般描述和以下详细描述都是示例性和说明性的，并且旨在提供对要求保护的本发明的进一步说明。
附图说明
所包含的附图用于提供对本发明的进一步理解，并且被并入和构成本申请的一部分，示出了本发明的实施例，并且与说明书一起用于解释本发明的原理。在附图中：
图1是示出根据本发明的实施例的车辆的虚假目标区分装置的框图。
图2示出图1的匹配过程；
图3示出图1的映射过程；
图4示出图1的关注区域提取过程；
图5示出图1的图像尺寸调整过程；
图6示出图1的学习过程；
图7示出图1的预测过程；以及
图8是示出根据本发明的实施例的虚假目标区分方法的流程图。
具体实施方式
现在将详细参考本发明的优选实施例，其示例在附图中示出。然而，本发明可以以许多不同的形式实施，并且不应该被解释为限于本文阐述的实施例。为了清楚地说明本发明，在附图中，省略了与描述无关的部分，并且在整个说明书中相同的部分由相似的参考数字表示。
在该说明书中，除非另有说明，否则“包括”或“包含”组件意味着可以进一步包含其他组件，而不是排除在外。术语“单元”，“-或(er)”和“模块”表示可以用硬件、软件或其组合实现的至少一个功能或操作处理单元。
在整个说明书中，当一部分被称为“包含”元素时，这意味着该部分也可以包含其他元素，除非另外特别说明。另外，在整个说明书中，由相同参考数字表示的部分表示相同的组件。
在下文中，将参考图1至图8详细描述可应用本发明实施例的车辆的虚假目标区分装置和方法，以及包括该装置和方法的车辆。
图1是示出根据本发明的实施例的车辆的虚假目标区分装置的框图。
如图1所示，本发明的车辆的虚假目标区分装置可包括：图像匹配单元100，其被配置为将关于所获取的二维图像的坐标信息与关于三维图像的坐标信息进行匹配；目标映射单元200，其被配置为将感测到的目标信息映射到通过匹配坐标信息获得的匹配图像；关注区域提取单元300，其被配置为选择映射到匹配图像的目标作为关注区域，并提取所选择的关注区域；以及确定单元500，其被配置为确定所提取的关注区域是否是虚假目标并执行虚假目标分类/学习。
在一种情况下，本发明还可包括图像获取单元(未示出)，其被配置为通过在车辆行驶时感测车辆的周围环境来获取二维图像和三维图像。
在另一种情况下，本发明还可以包括尺寸调整单元400，其被配置为将提取的关注区域的尺寸调整为预定尺寸。
下面将更详细地描述本发明的虚假目标区分装置的组成部分。
图像获取单元(未示出)可以包括被配置为获取二维图像的至少一个相机和被配置为获取三维图像的至少一个雷达。
在一种情况下，图像获取单元还可包括被配置为获取三维图像的至少一个激光雷达(LiDAR)。
这里，相机可以是用于感测车辆前方周围环境的前置相机，以及雷达可以是用于感测车辆前方周围环境的前置雷达。然而，实施例不限于此。
接下来，图像匹配单元100可以将关于所获取的二维图像的坐标信息与关于所获取的三维图像的坐标信息进行匹配。
也就是说，图像匹配单元100可以将关于三维图像的坐标信息转换为关于二维图像的坐标信息，并且将转换后的坐标信息与关于二维图像的坐标信息进行匹配以生成匹配图像。
这里，图像匹配单元100可以通过一部分来校准前置相机的二维图像坐标系和前置雷达/前置激光雷达(LiDAR)的三维坐标系，以执行匹配操作。
例如，图像匹配单元100执行前置相机图像和车辆坐标系之间的匹配。
这里，图像匹配单元100的匹配执行部分(其是将真实车辆的3D图像坐标系的位置移动到2D图像坐标系的部分)可以使用内在/外在参数来执行匹配。
目标映射单元200可以将感测到的目标信息映射到与坐标信息匹配的匹配图像。
这里，在将感测到的目标信息映射到匹配图像时，目标映射单元200可以映射关于目标的位置信息、宽度信息、长度信息、和高度信息中的至少一个。
也就是说，目标映射单元200可以基于关于传感器融合目标的位置、宽度、长度、和高度信息来提取信息，并且然后使用匹配参数将信息映射到图像。
如上所述，目标映射单元200用于执行传感器融合位置转换过程。目标映射单元可以基于关于已经执行匹配的传感器融合目标的位置、宽度、长度、和高度信息将目标的位置移动到图像。
接下来，关注区域提取单元300可以选择映射到匹配图像的目标作为关注区域并提取所选择的关注区域。
在提取所选择的关注区域时，关注区域提取单元300可以基于目标信息设置关注区域的提取尺寸，并提取与设置的提取尺寸相对应的关注区域。
这里，在设置关注区域的提取尺寸时，关注区域提取单元300可以基于目标信息确定关注区域的最小尺寸，并基于所确定的最小尺寸设置关注区域的提取尺寸。
关注区域的提取尺寸可以大于关注区域的最小尺寸。
例如，关注区域的提取尺寸可以比关注区域的最小尺寸大约20％至约40％，但不限于此。
另外，在提取所选择的关注区域时，关注区域提取单元300可以从匹配图像中裁剪和分离被选择为关注区域的目标图像。
以这种方式，关注区域提取单元300可以根据基于匹配传输的传感器融合目标信息从图像中选择关注区域并裁剪关注区域。
也就是说，关注区域提取单元300可以基于关于传感器融合目标的位置、宽度、长度、和高度信息来设置关注区域并裁剪对应图像。考虑到图像尺寸的重新调整，可以裁剪关注区域，以使其比传感器融合目标的宽度、长度、和高度大约30％。
另外，由于关注区域提取单元300通过将从传感器融合目标获得的结果映射到图像来裁剪关注区域，可以缩短在现有Faster R CNN中搜索目标位置所花费的计算时间。CNN代表卷积神经网络。
这里，通过将传感器融合目标的位置设置为关注区域，简化了目标搜索部分，其是现有Faster R CNN中需要最长计算时间的部分。
本发明还可以包括尺寸调整单元400，其被配置为将提取的关注区域的尺寸调整为预定尺寸。尺寸调整单元400可以检查从关注区域提取单元300提取的关注区域的尺寸，将提取的关注区域的尺寸与参考尺寸进行比较，并当提取的关注区域的尺寸不同于参考尺寸时，将提取的关注区域的尺寸调整为参考尺寸。
这里，参考尺寸可以是具有特定区域的正方形的尺寸，但不限于此。
在将所提取的关注区域的尺寸调整为参考尺寸时，尺寸调整单元400可将与所提取的关注区域对应的图像区域和图像形状调整为对应于参考尺寸的图像区域和图像形状。
在一种情况下，在将所提取的关注区域的尺寸调整为参考尺寸时，尺寸调整单元400可以将与所提取的关注区域相对应的图像形状调整为与参考尺寸相对应的图像形状，并且将与图像形状已被调整的关注区域对应的图像区域调整为与参考尺寸对应的图像区域。
在另一种情况下，在将所提取的关注区域的尺寸调整为参考尺寸时，尺寸调整单元400可以将与所提取的关注区域相对应的图像区域调整为与参考尺寸相对应的图像区域，并且将与图像区域已被调整的关注区域对应的图像形状调整为与参考尺寸对应的图像形状。
在另一种情况下，在将所提取的关注区域的尺寸调整为参考尺寸时，尺寸调整单元400可以将与所提取的关注区域相对应的图像区域和图像形状调整为同时对应于参考尺寸的图像区域和图像形状。
以这种方式，尺寸调整单元400可以执行尺寸调整以将裁剪的关注区域的图像尺寸调整为适合于输入到分类器的正方形的尺寸。
接下来，确定单元500可以通过确定所提取的关注区域是否是虚假目标来执行虚假目标分类/学习。确定单元500可以包括学习单元510，其被配置为通过基于驾驶期间的关注区域的图像确定关注区域是否是虚假目标来执行学习，以及预测单元520，其被配置为基于提取的参数通过分类器对实际数据进行分类以区分虚假目标。
这里，在确定所提取的兴趣区域是否是虚假目标时，确定单元500可以基于预先存储的确定信息来确定关注区域是否是虚假目标。
这里，当确定所提取的兴趣区域是否是虚假目标时将关注区域确定为虚假目标的时候，确定单元500可以虚假目标识别号来标记关注区域。
例如，在以虚假目标识别号来标记关注区域时，确定单元500可以标志1作为虚假目标识别号来标记关注区域。
另外，在确定关注区域是否是虚假目标时，当关注区域被确定为真实目标时，确定单元500可以真实目标识别号来标记关注区域。
例如，在以真实目标识别号来标记关注区域时，确定单元500可以标志0作为真实目标识别号来标记关注区域。
另外，在基于预先存储的确定信息确定关注区域是否是虚假目标时，当关注区域不是虚假目标时，确定单元500可以将关注区域识别为真实目标。
在执行虚假目标分类/学习时，确定单元500可以基于预先存储的确定信息确定关注区域是虚假目标还是真实目标，并且利用对应的虚假目标识别号或真实目标识别号来标记所确定的关注区域，从而执行虚假目标分类/学习。
在执行虚假目标分类/学习之后，确定单元500可以基于针对关注区域的虚假目标分类/学习来预测所提取的关注区域的虚假目标或真实目标。
这里，在预测所提取的关注区域的虚假目标或真实目标时，确定单元500可以在执行虚假目标分类/学习之前预测所提取的关注区域。
另外，在预测所提取的关注区域的虚假目标或真实目标时，确定单元500可以在执行虚假目标分类/学习之前检查所提取的关注区域是否存在。当在虚假目标分类/学习之前所提取的关注区域存在时，确定单元500可以基于关注区域的虚假目标分类/学习来预测所提取的关注区域的虚假目标或真实目标，并用对应的虚假目标识别号或真实目标识别号来标记预测的关注区域以对关注区域进行分类。
这样，确定单元500的学习单元510可以当裁剪图像是真实目标时，用0标记裁剪图像，以及当裁剪图像是虚假目标时，用1标记裁剪图像标记。
这里，由于图像是传感器融合目标的位置被映射到的关注区域的图像，因此确定单元500的学习单元510可以实际执行图像的标记。
然后，确定单元500的预测单元520可以通过向分类器输入通过实际执行产生学习前的操作的传感器融合目标的过程而获得的图像来执行预测。
这里，预测结果可以被分类为虚假目标或真实目标。
例如，确定单元500的预测单元520可以在使用CNN映射关于图像和传感器融合目标的信息之后确定预测结果是否是虚假目标。
如上所述，根据本发明，通过在图像和传感器融合之间的匹配来提取关注区域以检测虚假目标并执行虚假目标分类/学习，可以快速且准确地区分虚假目标。
另外，根据本发明，可以通过基于提取的关注区域执行虚假目标分类/学习来最小化计算时间。从而，可以快速区分虚假目标。
另外，根据本发明，可以从现有的传感器融合目标有效地去除在护栏或道路边界上产生的虚假目标。
此外，根据本发明，可以通过使用卷积神经网络(CNN)的图像处理来确定由雷达/LiDAR(激光雷达)生成的传感器融合虚假目标，并且通过用关注区域提取来替换需要长计算时间的Faster R CNN部分的搜索，可以缩短计算时间。
图2示出了图1的匹配过程，图3示出了图1的映射过程，以及图4示出了图1的关注区域提取过程。图5示出了图1的图像尺寸调整过程，图6示出了图1的学习过程，以及图7示出了图1的预测过程。图8是示出根据本发明的实施例的虚假目标区分方法的流程图。
如图2所示，本发明的图像匹配单元可以通过一部分来校准前置相机的二维图像坐标系和前置雷达/前置LiDAR(激光雷达)的三维坐标系以执行匹配操作。
例如，图像匹配单元100执行前置相机图像和车辆坐标系之间的匹配。
这里，图像匹配单元100的匹配执行部分(其是将真实车辆的3D图像坐标系的位置移动到2D图像坐标系的部分)可以使用内在/外在参数来执行匹配。
另外，如图3所示，本发明的目标映射单元可以将感测到的目标信息映射到与坐标信息匹配的匹配图像。
这里，目标映射单元可以基于关于传感器融合目标的位置、宽度、长度、和高度信息来提取信息，并且然后使用匹配参数将信息映射到图像。
如上所述，目标映射单元200用于执行传感器融合位置转换过程。目标映射单元可以基于关于已经执行匹配的传感器融合目标的位置、宽度、长度、和高度信息将目标的位置移动到图像。
接下来，如图4所示，本发明的关注区域提取单元可以选择映射到匹配图像的目标作为关注区域并提取所选择的关注区域。
这里，关注区域提取单元可以根据基于匹配传送的传感器融合目标信息从图像中选择关注区域并裁剪关注区域。
也就是说，关注区域提取单元可以基于关于传感器融合目标的位置、宽度、长度、和高度信息来设置关注区域并裁剪对应图像。考虑到图像尺寸的重新调整，可以裁剪关注区域，以使其比传感器融合目标的宽度、长度、和高度大约30％。
另外，由于关注区域提取单元300通过将从传感器融合目标获得的结果映射到图像来裁剪关注区域，可以缩短在现有Faster R CNN中搜索目标位置所花费的计算时间。
这里，通过将传感器融合目标的位置设置为关注区域，简化了目标搜索部分，其是现有Faster R CNN中需要最长计算时间的部分。
另外，如图5所示，本发明的尺寸调整单元可以检查从关注区域提取单元提取的关注区域的尺寸，将提取的关注区域的尺寸与参考尺寸比较，以及当提取的关注区域的尺寸不同于参考尺寸时，将提取的关注区域的尺寸调整为参考尺寸。
以这种方式，尺寸调整单元可以执行尺寸调整以将裁剪的关注区域的图像尺寸调整为适合于输入到分类器的正方形的尺寸。
接下来，如图6所示，本发明的确定单元可以通过确定所提取的关注区域是否是虚假目标来执行虚假目标分类/学习。
这里，作为学习部分，确定单元可以通过基于驾驶期间的关注区域的图像确定关注区域是否是虚假目标来执行学习。当裁剪图像是真实目标时，确定单元可以0来标记图像，并且当裁剪图像是虚假目标时，确定单元以1来标记图像。
这里，由于图像是传感器融合目标的位置被映射到的关注区域的图像，因此确定单元可以实际执行图像的标记。
另外，确定单元可以基于提取的参数通过分类器对实际数据进行分类，以将虚假目标区分为预测单元。
另外，如图7所示，确定单元可以通过向分类器输入通过实际执行产生学习前的操作的传感器融合目标的过程而获得的图像来执行预测。
这里，预测结果可以被分类为虚假目标或真实目标。
例如，确定单元可以在使用CNN映射关于图像和传感器融合目标的信息之后确定预测结果是否是虚假目标。
图8是示出根据本发明的实施例的虚假目标区分方法的流程图。
如图8所示，本发明的虚假目标区分装置获取二维图像和三维图像(S10)。
这里，在获取二维图像和三维图像时，本发明的虚假目标区分装置可以检查车辆是否在行驶。当车辆行驶时，虚假目标区分装置可以通过感测车辆的周围环境来获取二维图像和三维图像。
然后，本发明的虚假目标区分装置可以将关于所获取的二维图像的坐标信息与关于三维图像的坐标信息进行匹配(S20)。
这里，在将关于所获取的二维图像的坐标信息与关于三维图像的坐标信息进行匹配时，本发明的虚假目标区分装置可以将关于三维图像的坐标信息转换为关于二维图像的坐标信息，并且将转换后的坐标信息与关于二维图像的坐标信息进行匹配，从而生成匹配的图像。
随后，本发明的虚假目标区分装置可以将所感测的目标信息映射到与坐标信息匹配的匹配图像(S30)。
这里，在将感测到的目标信息映射到与坐标信息匹配的匹配图像时，本发明的虚假目标区分装置可以将关于包括在感测到的目标信息中的、目标的位置信息、宽度信息、长度信息、和高度信息中的至少一个映射到匹配图像。
接下来，本发明的虚假目标区分装置可以选择映射到匹配图像的目标作为关注区域，并提取所选择的关注区域(S40)。
这里，在提取所选择的关注区域时，本发明的虚假目标区分装置可以基于目标信息设置关注区域的提取尺寸，并提取与所设置的提取尺寸相对应的关注区域。
此时，关注区域的提取尺寸设置可以基于目标信息确定关注区域的最小尺寸，并且基于确定的最小尺寸设置关注区域的提取尺寸。
作为示例，关注区域的提取尺寸可以大于关注区域的最小尺寸。
另外，在提取所选择的关注区域时，本发明的虚假目标区分装置可以从匹配图像中裁剪和分离作为关注区域选择的目标图像。
然后，本发明的虚假目标区分装置可以通过确定所提取的关注区域是否是虚假目标来执行虚假目标分类/学习(S50)。
这里，在通过确定所提取的关注区域是否是虚假目标来执行虚假目标分类/学习时，本发明的虚假目标区分装置可以检查所提取的关注区域的尺寸，将提取的关注区域的尺寸与参考尺寸进行比较，并且当提取的关注区域的尺寸不同于参考尺寸时，将提取的关注区域的尺寸调整为参考尺寸。然后，虚假目标区分装置可以通过确定具有调整后尺寸的关注区域是否是虚假目标来执行虚假目标分类/学习。
这里，在将提取的关注区域的尺寸与参考尺寸进行比较时，当所提取的关注区域的尺寸等于参考尺寸时，虚假目标区分装置可以通过确定所提取的关注区域是否是虚假目标来执行虚假目标分类/学习。
例如，在将所提取的关注区域的尺寸调整为参考尺寸时，本发明的虚假目标区分装置可以将与所提取的关注区域相对应的图像区域和图像形状调整为与参考尺寸对应的图像区域和图像形状。
在一种情况下，在将所提取的关注区域的尺寸调整为参考尺寸时，本发明的虚假目标区分装置可以将与所提取的关注区域相对应的图像形状调整为与参考尺寸相对应的图像形状，并且将与图像形状已被调整的关注区域对应的图像区域调整为与参考尺寸对应的图像区域。
在另一种情况下，在将所提取的关注区域的尺寸调整为参考尺寸时，本发明的虚假目标区分装置可以将与所提取的关注区域相对应的图像区域调整为与参考尺寸相对应的图像区域，并且将与图像区域已被调整的关注区域对应的图像形状调整为与参考尺寸对应的图像形状。
在另一种情况下，在将所提取的关注区域的尺寸调整为参考尺寸时，本发明的虚假目标区分装置可以将与所提取的关注区域相对应的图像区域和图像形状调整为同时对应于参考尺寸的图像区域和图像形状。
接下来，在通过确定所提取的关注区域是否是虚假目标来执行虚假目标分类/学习时，本发明的虚假目标区分装置可以基于预先存储的确定信息，确定关注区域是虚假目标还是真实目标，用对应的虚假目标识别号或真实目标识别号来标记所确定的关注区域，并基于标记的关注区域执行虚假目标分类/学习。
这里，在利用对应的虚假目标识别号或真实目标识别号来标记所确定的关注区域时，本发明的虚假目标区分装置可以当关注区域被确定为虚假目标的时候，用虚假目标识别号来标记关注区域，而当关注区域被确定为真实目标时，可以用真实目标识别号来标记关注区域。
在执行虚假目标分类/学习之后，本发明的虚假目标区分装置可以基于针对关注区域的虚假目标分类/学习来预测所提取的关注区域的虚假目标或真实目标。
这里，在预测所提取的关注区域的虚假目标或真实目标时，本发明的虚假目标区分装置可以预测在执行虚假目标分类/学习之前提取的关注区域。
在预测所提取的关注区域的虚假目标或真实目标时，本发明的虚假目标区分装置可以在执行虚假目标分类/学习之前检查所提取的关注区域是否存在。当在虚假目标分类/学习之前所提取的关注区域存在时，确定单元500可以基于关注区域的虚假目标分类/学习来预测所提取的关注区域的虚假目标或真实目标，并用对应的虚假目标识别号或真实目标识别号来标记预测的关注区域以对关注区域进行分类。
接下来，本发明的虚假目标区分装置可以检查是否接收到终止请求，并且可以在接收到终止请求时终止整个过程(S60)。
另外，本发明可以通过计算机可读记录介质执行根据本发明实施例的虚假目标区分方法中提供的过程，在该计算机可读记录介质上，记录用于执行车辆的虚假目标区分装置的虚假目标区分方法的程序。
根据本发明的一个实施例的车辆可包括：传感器融合装置，被配置为感测位于车辆附近的目标；以及虚假目标区分装置，通信地耦接到传感器融合装置，以将关于所获取的二维图像的坐标信息与关于所获取的三维图像的坐标信息进行匹配，并基于通过匹配坐标信息获得的匹配图像来区分虚假目标，其中，虚假目标区分装置可以包括：图像匹配单元，被配置为将关于获取的二维图像的坐标信息与关于三维图像的坐标信息进行匹配；目标映射单元，被配置为将感测到的目标信息映射到通过匹配坐标信息获得的匹配图像；关注区域提取单元，被配置为选择映射到匹配图像的目标作为关注区域并提取选择的关注区域；以及确定单元，被配置为确定所提取的关注区域是否是虚假目标并且执行虚假目标分类/学习。
这里，车辆还可包括图像获取单元，其被配置为通过在车辆行驶时感测车辆的周围环境来获取二维图像和三维图像。图像获取单元可以设置在传感器融合装置和虚假目标区分装置中的至少一个中。
传感器融合装置可以通过感测车辆的周围环境来获取二维图像，并且主要基于所获取的二维图像来区分虚假目标，而且虚假目标区分装置可以基于所获取的二维图像和所获取的三维图像来二次区分虚假目标。
然后，虚假目标区分装置还可包括尺寸调整单元400，其被配置为将提取的关注区域的尺寸调整为预定尺寸。尺寸调整单元可以检查从关注区域提取单元提取的关注区域的尺寸，将提取的关注区域的尺寸与参考尺寸比较，以及当提取的关注区域的尺寸不同于参考尺寸时，将提取的关注区域的尺寸调整为参考尺寸。
接下来，在执行虚假目标分类/学习之后，虚假目标区分装置可以基于关注区域的虚假目标分类/学习，预测在虚假目标分类/学习之前提取的关注区域的虚假目标或真实目标。
如上所述，根据本发明，通过在图像和传感器融合之间的匹配来提取关注区域以检测虚假目标并执行虚假目标分类/学习，可以快速且准确地区分虚假目标。
另外，根据本发明，可以通过基于提取的关注区域执行虚假目标分类/学习来最小化计算时间。从而，可以快速区分虚假目标。
另外，根据本发明，可以从现有的传感器融合目标有效地去除在护栏或道路边界上产生的虚假目标。
此外，根据本发明，可以通过使用卷积神经网络(CNN)的图像处理来确定由雷达/激光雷达生成的传感器融合虚假目标，并且通过用关注区域提取来替换需要较长的计算时间的Faster R CNN部分的搜索，可以缩短计算时间。
上述本发明可以实现为记录程序的介质上的计算机可读代码。代码可以在处理器上执行，例如微处理器。计算机可读介质包括各种记录设备，其中存储可由计算机系统读取的数据。计算机可读介质的示例包括硬盘驱动器(HDD)、固态驱动器(SSD)、硅盘驱动器(SDD)、ROM、RAM、CD-ROM、磁带、软盘和光学数据存储设备、也可以以载波的形式实现(例如，通过因特网传输)。
从以上描述中显而易见的是，与如上所述配置的本发明的至少一个实施例相关的车辆中的虚假目标区分装置和方法以及包括该装置和方法的车辆可以快速准确地区分虚假目标，通过提取关注区域来执行虚假目标分类/学习，通过将图像与传感器融合相匹配来检测虚假目标。
此外，本发明可以通过基于提取的关注区域执行虚假目标分类/学习来最小化计算时间来快速区分虚假目标。
另外，本发明可以有效地从现有的传感器融合目标中去除在护栏或道路边界上产生的虚假目标。
此外，本发明可以通过图像处理确定由雷达/LiDAR(激光雷达)使用卷积神经网络(CNN)生成的传感器融合虚假目标，并且通过用关注区域提取来替换需要较长的计算时间的Faster R CNN部分的搜索，可以缩短计算时间。
本领域技术人员将理解，通过本发明的实施例可以实现的效果不限于上述那些，并且从以下详细描述中将更清楚地理解本公开的其他效果。
对于本领域技术人员显而易见的是，在不脱离本发明的精神或范围的情况下，可以在本发明中进行各种修改和变化。因此，本发明旨在覆盖落入所附权利要求及其等同物的范围内的本发明的修改和变化。

Claims (20)

1.一种用于在车辆中区分虚假目标的装置，所述装置包括：
图像匹配单元，被配置为将关于所获取的二维图像的坐标信息与关于所获取的三维图像的坐标信息进行匹配；
目标映射单元，被配置为将感测到的目标信息映射到与坐标信息匹配的匹配图像；
关注区域提取单元，被配置为选择映射到所述匹配图像的目标作为关注区域并提取选择的所述关注区域；以及
确定单元，被配置为通过确定提取的所述关注区域是否是虚假目标来执行虚假目标分类/学习。
2.根据权利要求1所述的装置，还包括图像获取单元，被配置为通过在所述车辆行驶时感测所述车辆的周围环境来获取所述二维图像和所述三维图像。
3.根据权利要求1所述的装置，其中，所述图像匹配单元被配置为将关于所述三维图像的坐标信息转换为关于所述二维图像的坐标信息，并将转换后的坐标信息与关于所述二维图像的坐标信息进行匹配，以生成所述匹配图像。
4.根据权利要求1所述的装置，其中，在将感测的所述目标信息映射到所述匹配图像时，所述目标映射单元被配置为映射关于所述目标的位置信息、宽度信息、长度信息或高度信息。
5.根据权利要求1所述的装置，其中，在提取选择的所述关注区域时，所述关注区域提取单元被配置为基于所述目标信息设置所述关注区域的提取尺寸，并提取与设置的所述提取尺寸相对应的所述关注区域。
6.根据权利要求1所述的装置，其中，在提取选择的所述关注区域时，所述关注区域提取单元被配置为从所述匹配图像中裁剪和分离被选择为所述关注区域的目标图像。
7.根据权利要求1所述的装置，还包括，尺寸调整单元，被配置为检查由所述关注区域提取单元提取的所述关注区域的尺寸，以将提取的所述关注区域的尺寸与参考尺寸进行比较，并且当提取的所述关注区域的尺寸不同于所述参考尺寸时，将提取的所述关注区域的尺寸调整为所述参考尺寸。
8.根据权利要求1所述的装置，其中，在执行所述虚假目标分类/学习时，所述确定单元被配置为基于预先存储的确定信息来确定所述关注区域是虚假目标还是真实目标，并且以相应的虚假目标识别号或真实目标识别号来标记确定的所述关注区域，以执行所述虚假目标分类/学习。
9.根据权利要求1所述的装置，其中，在执行所述虚假目标分类/学习之后，所述确定单元被配置为基于所述关注区域的所述虚假目标分类/学习，预测提取的所述关注区域的虚假目标或真实目标。
10.一种用于在车辆的虚假目标区分装置中区分虚假目标的方法，所述方法包括：
获取二维图像和三维图像；
将关于获取的所述二维图像的坐标信息与关于获取的所述三维图像的坐标信息进行匹配；
将感测到的目标信息映射到与坐标信息匹配的匹配图像；
选择映射到所述匹配图像的目标作为关注区域并提取选择的所述关注区域；以及
通过确定提取的所述关注区域是否是虚假目标来执行虚假目标分类/学习。
11.根据权利要求10所述的方法，其中，所述二维图像和所述三维图像的获取包括：检查所述车辆是否行驶，当所述车辆行驶时感测所述车辆的周围环境以获取所述二维图像和所述三维图像。
12.根据权利要求10所述的方法，其中，匹配坐标信息包括：将关于所述三维图像的坐标信息转换为关于所述二维图像的坐标信息，并将转换后的坐标信息与关于所述二维图像的坐标信息进行匹配，以生成所述匹配图像。
13.根据权利要求10所述的方法，其中，将感测的所述目标信息映射到与坐标信息匹配的所述匹配图像包括：将关于包含于所述感测的目标信息中的、所述目标的位置信息、宽度信息、长度信息、或高度信息映射到所述匹配图像中。
14.根据权利要求10所述的方法，其中，提取选择的所述关注区域包括：基于所述目标信息设置所述关注区域的提取尺寸，并提取与设置的所述提取尺寸相对应的所述关注区域。
15.根据权利要求10所述的方法，其中，执行所述虚假目标分类/学习包括：
检查提取的所述关注区域的尺寸；
将提取的所述关注区域的尺寸与参考尺寸进行比较；
当提取的所述关注区域的尺寸不同于所述参考尺寸时，将提取的所述关注区域的尺寸调整为所述参考尺寸；以及
通过确定具有调整后的尺寸的所述关注区域是否是虚假目标来执行所述虚假目标分类/学习。
16.根据权利要求15所述的方法，其中，将提取的所述关注区域的尺寸与所述参考尺寸进行比较包括：当提取的所述关注区域的尺寸等于所述参考尺寸时，通过确定提取的所述关注区域是否是虚假目标来执行所述虚假目标分类/学习。
17.根据权利要求10所述的方法，执行所述虚假目标分类/学习包括：
基于预先存储的确定信息来确定所述关注区域是虚假目标还是真实目标；
以对应的虚假目标识别号或真实目标识别号来标记确定的所述关注区域；以及
基于标记的所述关注区域执行所述虚假目标分类/学习。
18.根据权利要求17所述的方法，其中，以对应的所述虚假目标识别号或所述真实目标识别号来标记确定的所述关注区域包括：
当所述关注区域被确定为虚假目标时，以所述虚假目标识别号来标记所述关注区域；以及
当所述关注区域被确定为真实目标时，以所述真实目标识别号来标记所述关注区域。
19.根据权利要求10所述的方法，还包括：当执行所述虚假目标分类/学习时，基于所述关注区域的所述虚假目标分类/学习，预测提取的所述关注区域的虚假目标或真实目标。
20.一种车辆，包括：
传感器融合装置，被配置为感测位于所述车辆附近的目标；以及
虚假目标区分装置，通信地耦接到所述传感器融合装置，以将关于所获取的二维图像的坐标信息与关于所获取的三维图像的坐标信息进行匹配，并基于用坐标信息匹配的匹配图像来区分虚假目标，其中，所述虚假目标区分装置包括：
图像匹配单元，被配置为将关于所获取的所述二维图像的坐标信息与关于所获取的所述三维图像的坐标信息进行匹配；
目标映射单元，被配置为将由所述传感器融合装置感测的目标信息映射到用坐标信息匹配的所述匹配图像；
关注区域提取单元，被配置为选择映射到所述匹配图像的目标作为关注区域并提取选择的所述关注区域；以及
确定单元，被配置为通过确定提取的所述关注区域是否是虚假目标来执行虚假目标分类/学习。
CN201811482880.5A 2018-10-10 2018-12-05 车辆中区分虚假目标的装置和方法及包括其的车辆 Active CN111103594B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0120326 2018-10-10
KR1020180120326A KR102545105B1 (ko) 2018-10-10 2018-10-10 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량

Publications (2)

Publication Number Publication Date
CN111103594A true CN111103594A (zh) 2020-05-05
CN111103594B CN111103594B (zh) 2024-08-23

Family

ID=70159425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811482880.5A Active CN111103594B (zh) 2018-10-10 2018-12-05 车辆中区分虚假目标的装置和方法及包括其的车辆

Country Status (3)

Country Link
US (1) US11003921B2 (zh)
KR (1) KR102545105B1 (zh)
CN (1) CN111103594B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112305531A (zh) * 2020-12-29 2021-02-02 北京海兰信数据科技股份有限公司 一种目标检测方法及装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
AU2019357615B2 (en) 2018-10-11 2023-09-14 Tesla, Inc. Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11604261B2 (en) * 2019-02-06 2023-03-14 Lockeed Martin Corporation Extended laser active ranging system, method and computer readable program product
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
CN115103791A (zh) * 2019-12-23 2022-09-23 空中客车A^3有限责任公司 用于雷达信号的噪声补偿的系统和方法
DE102020123920B3 (de) * 2020-09-15 2021-08-19 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren und System zum automatischen Labeling von Radardaten
KR102584070B1 (ko) * 2020-11-23 2023-10-10 한국전자통신연구원 객체 분류 기반의 오류 제거를 이용한 자율 주행 시스템의 객체 인식 장치 및 이를 이용한 방법
KR102572339B1 (ko) * 2020-12-14 2023-08-28 이기현 전자기파 데이터의 ai 기계학습을 위한 어노테이션 방법

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200657A (zh) * 2014-07-22 2014-12-10 杭州智诚惠通科技有限公司 一种基于视频和传感器的交通流量参数采集方法
KR20150142543A (ko) * 2014-06-12 2015-12-22 현대모비스 주식회사 자동차의 통합센서 시스템
CN106204629A (zh) * 2016-08-17 2016-12-07 西安电子科技大学 天基雷达与红外数据融合在轨动目标检测方法
US20170254896A1 (en) * 2016-03-02 2017-09-07 Oki Electric Industry Co., Ltd. Tracking apparatus, tracking method, and computer-readable storage medium
US20170262732A1 (en) * 2014-08-01 2017-09-14 Shenzhen Cimc-Tianda Airport Support Ltd. System and method for aircraft docking guidance and aircraft type identification
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN107844761A (zh) * 2017-10-25 2018-03-27 海信集团有限公司 交通标志的检测方法及装置
CN107862329A (zh) * 2017-10-31 2018-03-30 电子科技大学 一种基于深度置信网络的雷达一维距离像真假目标识别方法
US20180174325A1 (en) * 2016-12-20 2018-06-21 Symbol Technologies, Llc Methods, Systems and Apparatus for Segmenting Objects
CN108197582A (zh) * 2018-01-10 2018-06-22 武汉理工大学 基于深度学习的海事雷达图像处理方法
CN108241829A (zh) * 2016-12-23 2018-07-03 乐视汽车（北京）有限公司 车辆行驶图像识别方法
CN108263389A (zh) * 2018-01-26 2018-07-10 深圳市九洲源科技有限公司 一种车辆前方虚假目标剔除装置及方法
CN108437923A (zh) * 2018-03-27 2018-08-24 浙江吉利控股集团有限公司 一种行人保护系统及方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0115433D0 (en) * 2001-06-23 2001-08-15 Lucas Industries Ltd An object location system for a road vehicle
JP4070437B2 (ja) * 2001-09-25 2008-04-02 ダイハツ工業株式会社 前方車両認識装置及び認識方法
KR101125233B1 (ko) * 2010-11-25 2012-03-21 재단법인대구경북과학기술원 융합기술기반 보안방법 및 융합기술기반 보안시스템
JP5660078B2 (ja) * 2012-05-31 2015-01-28 カシオ計算機株式会社 多クラス識別器、方法、およびプログラム
EP2669846B1 (en) * 2012-06-01 2017-11-01 Ricoh Company, Ltd. Target recognition system and target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program
KR101417408B1 (ko) * 2012-11-15 2014-07-14 현대자동차주식회사 레이더를 이용한 객체 인식방법 및 시스템
US20160379388A1 (en) * 2014-07-16 2016-12-29 Digitalglobe, Inc. System and method for combining geographical and economic data extracted from satellite imagery for use in predictive modeling
KR101874588B1 (ko) * 2016-12-28 2018-07-04 주식회사 포딕스시스템 고해상도 카메라를 이용한 다채널 관심영역 표출방법
CN107066933B (zh) * 2017-01-25 2020-06-05 武汉极目智能技术有限公司 一种道路标牌识别方法及系统
WO2018204656A1 (en) * 2017-05-03 2018-11-08 Mobileye Vision Technologies Ltd. Detection and classification systems and methods for autonomous vehicle navigation
KR101899549B1 (ko) * 2017-12-27 2018-09-17 재단법인 경북아이티융합 산업기술원 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법
WO2019161300A1 (en) * 2018-02-18 2019-08-22 Nvidia Corporation Detecting objects and determining confidence scores
US10628686B2 (en) * 2018-03-12 2020-04-21 Waymo Llc Neural networks for object detection and characterization
AU2018220142A1 (en) * 2018-08-24 2020-03-12 Canon Kabushiki Kaisha Method and system for reproducing visual content
US10659698B2 (en) * 2018-09-19 2020-05-19 Canon Kabushiki Kaisha Method to configure a virtual camera path

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150142543A (ko) * 2014-06-12 2015-12-22 현대모비스 주식회사 자동차의 통합센서 시스템
CN104200657A (zh) * 2014-07-22 2014-12-10 杭州智诚惠通科技有限公司 一种基于视频和传感器的交通流量参数采集方法
US20170262732A1 (en) * 2014-08-01 2017-09-14 Shenzhen Cimc-Tianda Airport Support Ltd. System and method for aircraft docking guidance and aircraft type identification
US20170254896A1 (en) * 2016-03-02 2017-09-07 Oki Electric Industry Co., Ltd. Tracking apparatus, tracking method, and computer-readable storage medium
CN106204629A (zh) * 2016-08-17 2016-12-07 西安电子科技大学 天基雷达与红外数据融合在轨动目标检测方法
US20180174325A1 (en) * 2016-12-20 2018-06-21 Symbol Technologies, Llc Methods, Systems and Apparatus for Segmenting Objects
CN108241829A (zh) * 2016-12-23 2018-07-03 乐视汽车（北京）有限公司 车辆行驶图像识别方法
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN107844761A (zh) * 2017-10-25 2018-03-27 海信集团有限公司 交通标志的检测方法及装置
CN107862329A (zh) * 2017-10-31 2018-03-30 电子科技大学 一种基于深度置信网络的雷达一维距离像真假目标识别方法
CN108197582A (zh) * 2018-01-10 2018-06-22 武汉理工大学 基于深度学习的海事雷达图像处理方法
CN108263389A (zh) * 2018-01-26 2018-07-10 深圳市九洲源科技有限公司 一种车辆前方虚假目标剔除装置及方法
CN108437923A (zh) * 2018-03-27 2018-08-24 浙江吉利控股集团有限公司 一种行人保护系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHAO YANG等: "A Highly Efficient Method for Training Sample Selection in Remote Sensing Classification", IEEE, 30 June 2018 (2018-06-30), pages 1 - 5, XP033466192, DOI: 10.1109/GEOINFORMATICS.2018.8557085 *
陆峰等: "基于DSmT理论的多视角融合目标检测识别", 《机器人ROBOT》, vol. 40, no. 5, pages 723 - 728 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112305531A (zh) * 2020-12-29 2021-02-02 北京海兰信数据科技股份有限公司 一种目标检测方法及装置
CN112305531B (zh) * 2020-12-29 2022-02-11 北京海兰信数据科技股份有限公司 一种目标检测方法及装置

Also Published As

Publication number Publication date
KR102545105B1 (ko) 2023-06-19
US20200117917A1 (en) 2020-04-16
KR20200040431A (ko) 2020-04-20
US11003921B2 (en) 2021-05-11
CN111103594B (zh) 2024-08-23

Similar Documents

Publication Publication Date Title
CN111103594B (zh) 车辆中区分虚假目标的装置和方法及包括其的车辆
US10690770B2 (en) Navigation based on radar-cued visual imaging
EP3293669B1 (en) Enhanced camera object detection for automated vehicles
EP3183688B1 (en) Recognition and prediction of lane constraints
JP6747269B2 (ja) 物体認識装置
CN111091037B (zh) 用于确定驾驶信息的方法和设备
US9047518B2 (en) Method for the detection and tracking of lane markings
JP2011150633A (ja) 対象物検出装置及びプログラム
US11598877B2 (en) Object recognition device and vehicle control system
JP2016148962A (ja) 物体検知装置
CN102997900A (zh) 外界识别方法、装置以及车辆系统
CN111723724B (zh) 一种路面障碍物识别方法和相关装置
US20160188984A1 (en) Lane partition line recognition apparatus
WO2014181386A1 (ja) 車両判別装置
JP2018048949A (ja) 物体識別装置
CN110929475B (zh) 对象的雷达简档的注释
CN111352414B (zh) 用于车辆的假目标移除装置和方法及包括该装置的车辆
JP6263453B2 (ja) 運動量推定装置及びプログラム
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
WO2017169704A1 (ja) 環境認識装置
Chen et al. Integrated vehicle and lane detection with distance estimation
CN115482352A (zh) 用于训练机器学习算法的方法和装置
JP2020101935A (ja) 画像認識装置
WO2016050377A1 (en) Perspective transform of mono-vision image
WO2024009756A1 (ja) 物体識別装置及び物体識別方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant