Nothing Special   »   [go: up one dir, main page]

CN113844443A - 自主驾驶碰撞预防 - Google Patents

自主驾驶碰撞预防 Download PDF

Info

Publication number
CN113844443A
CN113844443A CN202110719350.3A CN202110719350A CN113844443A CN 113844443 A CN113844443 A CN 113844443A CN 202110719350 A CN202110719350 A CN 202110719350A CN 113844443 A CN113844443 A CN 113844443A
Authority
CN
China
Prior art keywords
series
vehicle
bounding boxes
road
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110719350.3A
Other languages
English (en)
Inventor
干毅骞
王一杰
侯晓迪
葛凌廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Publication of CN113844443A publication Critical patent/CN113844443A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4043—Lateral speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开的实施例涉及自主驾驶碰撞预防。自主车辆必须适应各种道路配置，诸如直道、弯道、受控交叉路口、非受控交叉路口等等。自主驾驶系统必须做出关于交通的速率和距离，以及关于包括阻挡自主车辆传感器视野的障碍物在内的障碍物的决策。例如，在交叉路口处，自主驾驶系统必须标识自主车辆路径中的车辆或者基于规划路径标识可能出现在路径中的车辆，估计到车辆的距离，并且估计车辆的速率。然后，自主驾驶系统必须基于这些及道路配置和环境条件，决定沿规划路径继续行进是否安全以及何时可以安全地继续行进。

Description

自主驾驶碰撞预防
相关申请的交叉引用
本专利文件要求2020年6月26日提交的题为“AUTONOMOUS DRIVING CRASHPREVENTION”的美国临时专利申请No.63/044,656的优先权。作为本申请公开内容的一部分，上述专利申请的全部内容通过引用并入。
技术领域
本文件涉及自主驾驶系统。具体地，本文描述了用于导航各种道路状况，同时避免与周围区域中的移动和静止对象碰撞的系统和方法。
背景技术
自主驾驶需要传感器和处理系统，传感器和处理系统接收自主车辆周围的环境并且做出确保自主车辆和周围车辆的安全的决策。传感器应当准确地确定潜在干扰车辆以及可移动和不可移动的其它对象的距离及其速度。需要新的技术来评估各种交通状况。
发明内容
自主车辆必须适应各种道路配置，诸如直道、弯道、受控交叉路口、非受控交叉路口等等。自主驾驶系统必须做出关于交通的速率和距离，以及关于包括阻碍自主车辆传感器视野的障碍物在内的障碍物的决策。例如，在交叉路口处，自主驾驶系统必须标识自主车辆路径中的车辆，或者基于规划路径标识可能出现在路径中的车辆，估计到车辆的距离，并且估计车辆的速率。然后，自主驾驶系统必须基于其它车辆的这些参数、道路配置和环境条件，确定沿规划路径继续行进是否安全以及何时安全。
所公开实施例的一个方面涉及一种用于自主驾驶车辆的相机视觉方法，包括从自主驾驶车辆的侧视相机传感器接收系列道路图像，其中，该系列道路图像中的每个图像在不同的时间拍摄。该方法还包括针对来自在系列道路图像中捕捉到的对象中的每个对象，生成系列道路图像中的系列边界框，其中，每个边界框对应于系列道路图像中的一个图像。该方法还包括针对上述对象中的每个对象，确定其行进方向或确定该对象是静止的。该方法还包括确定已经确定了行进方向的每个对象的速率。此外，该方法包括基于对象的行进方向、速率或静止度，确定自主驾驶车辆是否可以在预定方向上安全地移动。该方法还包括基于对自主驾驶车辆是否可以在预定方向上安全地移动的确定，向自主驾驶车辆发送一个或多个控制信号，以使自主驾驶车辆移动或保持静止。
所公开实施例的另一方面涉及一种用于自主驾驶车辆的装置，包括至少一个处理器和存储器。该装置的存储器包括可执行指令，当由至少一个处理器执行时，该可执行指令使得装置执行至少以下操作：从自主驾驶车辆的侧视相机传感器接收系列道路图像，其中，该系列道路图像中的每个图像在不同的时间拍摄；针对来自在系列道路图像中捕捉到的对象中的每个对象，生成系列道路图像中的系列边界框，其中，系列边界框中的每个边界框对应于系列道路图像中的一个图像；针对上述对象中的每个对象，确定其行进方向或确定该对象是静止的；确定已经确定了行进方向的每个对象的速率；基于对象的行进方向、速率或静止度，确定自主驾驶车辆是否可以在预定方向上安全地移动；以及基于对自主驾驶车辆是否可以在预定方向上安全地移动的确定，向自主驾驶车辆发送一个或多个控制信号，以使自主驾驶车辆移动或保持静止。
所公开实施例的又一方面涉及一种存储有用于自主驾驶车辆的可执行指令的非瞬时计算机可读介质，当由至少一个处理器执行时，该指令使得至少一个处理器执行至少以下操作：从自主驾驶车辆的侧视相机传感器接收系列道路图像，其中，该系列道路图像中的每个图像在不同的时间拍摄；针对来自在系列道路图像中捕捉到的对象中的每个对象，生成系列道路图像中的系列边界框，其中，系列边界框中的每个边界框对应于系列道路图像中的一个图像；针对上述对象中的每个对象，确定其行进方向或确定该对象是静止的；确定已经确定了行进方向的每个对象的速率；基于对象的行进方向、速率或静止度，确定自主驾驶车辆是否可以在预定方向上安全地移动；以及基于对自主驾驶车辆是否可以在预定方向上安全地移动的确定，向自主驾驶车辆发送一个或多个控制信号，以使自主驾驶车辆移动或保持静止。
所公开技术的上述及其它方面和特征在附图、说明书和权利要求书中更详细地描述。
附图说明
图1描绘了交通配置的说明性示例；
图2描绘了交通配置的另一说明性示例；
图3描绘了根据一些实施例从相机数据生成的边界框示例；
图4描绘了根据一些实施例的过程示例；
图5描绘了根据一些实施例用于减少空间分析点数量的地理围栏的说明性示例；
图6A描绘了根据一些实施例的朝自主车辆的左侧向外看的图像示例和朝自主车辆的右侧向外看的图像的另一示例；
图6B描绘了根据一些实施例被卡车遮挡的体积示例图；
图6C描绘了根据一些实施例的将三维地理围栏降为二维地理围栏的说明性示例；
图7描绘了根据一些实施例将分析点的三维集合降为二维集合的说明性示例；
图8描绘了根据一些示例实施例的自主驾驶车辆中的相机视觉过程；以及
图9描绘了根据一些实施例的装置示例。
具体实施方式
自主驾驶系统(例如自主驾驶车辆也称为自主车辆)必须安全地适应所有类型的道路配置和状况。例如，自主驾驶系统必须适应直道、弯道、受控交叉路口、非受控交叉路口以及许多其它道路配置。这些系统还必须考虑诸如雨、雪、风、沙尘暴(仅列举几个)等道路条件。自主驾驶车辆必须做出关于交通的速率和距离，以及关于包括阻挡自主车辆传感器视野的障碍物在内的障碍物的决策。例如，在交叉路口处，自主驾驶车辆必须标识路径中的车辆和对象，包括标识基于规划驾驶路径可能出现在路径中的车辆和对象，并且估计到车辆和/或对象的距离以及车辆和/或对象的速率。然后，自主驾驶车辆必须基于在路径中或可能出现在路径中的车辆、道路配置和道路状况，确定沿规划路径继续行进是否安全，以及何时可以安全地继续行进。在各种实施例中，确定车辆和/或对象的速率或速度，并且确定到车辆和/或对象的位置或距离。为了简单起见，以下描述使用速率(标量值)，但也可以确定速度(矢量)，其中，速度包括速率和方向。此外，在以下描述中使用距离，但也可以确定位置(例如3D或2D坐标)。
必须做出这些确定和决策的情境示例包括所谓的“T”形交叉路口、所谓的“Y”形交叉路口、无保护左转弯、自主车辆没有优先通行权需要让行的交叉路口，以及具有4个路段和两个停止标志，自主车辆必须停车而其它车辆无需停车的交叉路口(例如交叉车流不停车)，以及许多其它道路配置。对于所有前述道路配置，自主驾驶系统必须确定是否以及何时可以安全地继续行进。
图1描绘了“T”形或“Y”形交叉路口101的示例图示100。交叉路口101的特征在于道路150的终点，在该终点处，道路150上的交通可以加入沿第一方向161行驶的另一道路160上的交通，或者加入沿第二方向157行驶的道路155上的交通。例如，交通行进方向161和157可以彼此不同(例如可以彼此相反)。在图1的示例中，经由道路150进入交叉路口101的车辆必须让行在道路155上沿方向157行进、正在经过或靠近从道路150到道路155的交通入口区域的车辆。经由道路150进入的车辆还必须让行在道路160上沿方向161行进、正在经过从道路150进入的交通入口区域和/或靠近该区域的车辆。在图1的图示中，自主车辆110位于道路150、155和160的交叉路口101处，交叉交通车辆120在道路155上沿方向157行进，并且交叉交通车辆130在道路160上沿方向161行进。自主车辆110具有一个或多个相机115。例如，相机115可以旨在从车辆110朝向道路155和道路160来查看侧面。在一些示例实施例中，一些相机115可以旨在观察道路155上沿方向157进入交叉路口101的交通。在某些示例实施例中，一些相机115可以旨在观察道路160上沿方向161进入交叉路口101的交通。在一些示例实施例中，至少一些相机可以指向固定方向。例如，车辆110右侧的相机可以以固定指向角度指向道路155(例如沿方向161)。类似地，车辆110左侧的相机可以以固定指向角度指向道路160(例如沿方向157)。在一些示例实施例中，相机115可以是可机械或光学操纵的，从而在一些情况下独立地(例如在不同时间)指向不同方向。例如，当车辆110向前或向后移动时，相机115可以指向车辆110的前方，当车辆110已经停止时，可以指向车辆110的侧面。例如，当车辆110向前移动时，相机115可以指向车辆110的前方，当车辆110向后移动时，可以指向车辆110的后方。
图2描绘了四向交叉路口201的示例图示200。四向交叉路口的特征在于两条交叉道路形成的交叉路口。这些道路具有四个分支，例如分支235、240、245和250(在本文中，分支也称为道路)。在图2的图示中，自主车辆230位于道路235、240、245和250的交叉路口处，交叉交通车辆220沿从250到235的方向行进，并且交叉交通车辆210沿从235到250的方向行进。自主车辆230具有如关于图1描述的一个或多个相机。
当优先通行权可能属于在垂直方向上移动的交通时，必须确定若干方面以针对包括“T”形、“Y”形和四向交叉路口在内交叉路口做出“安全通过”决策。例如，必须确定迎面交通(例如其它车辆)的速率和距离、可能干扰自主车辆的停驶交通的位置，以及自主车辆的传感器是否被固定对象或其它车辆(其可以是移动的或静止的)阻挡。在做出通过决策之前，必须考虑与自主车辆所在道路垂直的道路上迎面车辆的距离以及每个迎面车辆的速率。当迎面汽车太近和/或行驶太快时，在“T”形交叉路口左转弯将是非常危险的。此外，必须确定由自主车辆的相机和诸如光检测和测距(LiDAR)传感器的其它传感器获得或观察到的道路视野是否因例如大型汽车、卡车、固定对象或其它障碍物而被阻挡，使得无法获取迎面车辆足够的相关信息。这种阻挡或遮挡可能导致无法做出有效的“安全通过”决策。当车辆不具有优先通行权时，需要保守和安全的决策。为了在给定上述挑战的情况下做出保守且安全的决策，自驾驶(本文也称“自主”)汽车或卡车必须估计到对象(或对象位置)的距离以及对象的速率。
标识车辆和障碍物，然后确定其距离和速度或速率。所标识的速率和距离在一定范围内的车辆可能会潜在地干扰自主车辆，必须加以考虑。对象的估计速率和距离会具有包括偏差和方差等噪声。可以使用的算法示例包括：1)机器学习分类模型(例如随机森林、支持向量机(SVM)等)；2)诸如决策树模型的基于规则的方法。可以为每个可能导致干扰的参数确定硬阈值。
例如，必须避免在自主车辆近距离范围内朝向自主车辆移动或在自主车辆的规划路径中移动的车辆。还必须避免与自主车辆相距较远但高速行驶的车辆。停止的或距自主车辆非常远(例如1000m)的车辆可以忽略，除非车辆以非常高的速率行驶。在一些实施方式中，可以用于确定标识车辆是否将潜在地干扰自主车辆的规划路径的度量是到标识车辆的距离与标识车辆的速率之比。这种度量可以反映标识车辆到达自主车辆将花费的持续时间。在一些实施方式中，到标识车辆的距离是沿标识车辆所行驶道路的路径长度。比值越大，标识车辆对自主车辆的威胁越小，比值越小，标识车辆的威胁越大。也就是说，比值越大，将车辆视为自主车辆路径上的障碍物的紧迫性越小。这样，移动更快或更近的车辆干扰越大，移动更慢或更远的车辆干扰越小。在确定是否可以安全地继续行进时，可以考虑的其它参数包括车辆类型(例如汽车、卡车或自行车)、特定类型车辆的任何假定行为(例如让行趋势)。
可以在自主车辆上使用的传感器的示例包括：LiDAR传感器、相机、雷达传感器等。使用来自这些传感器的数据可以获取潜在干扰车辆的距离和速率。除了到潜在干扰车辆和对象的距离，还可以在每个传感器能够提供的距离和精度范围内确定车辆和对象的位置。例如，LiDAR传感器可以具有50米或100米的最大测量范围。在最大范围内，传感器可以准确地确定到其它车辆和对象的距离以及其它车辆和对象的速率。
在一些实施方式中，典型的自驾驶卡车需要得到对象(例如车辆)的速率和距离或位置的准确估计，当限速为约70km/h(～45mph)时，对象与卡车的距离在约150米(～500英尺)的范围内，当限速为约40km/h(～25mph)时，对象与卡车的距离在约85米(～280英尺)的范围内，当限速为约90km/h(～55mph)时，在约184米(～600英尺)的范围内，并且当限速为约110km/h(～70mph)时，在约234米(～768英尺)的范围内。在一些实施方式中，例如当自主车辆已经停在交叉路口时，自主车辆需要具有在自主车辆约10+/-2.5秒范围内的车辆和对象的距离和速率信息。也可以使用其它时间范围。在一些示例实施例中，例如，自主车辆需要具有在接下来的10+/-2.5秒或接下来的5+/-1秒或接下来的15+/-3秒或接下来的20+/-5秒内将经过自主车辆(可以是移动的或静止的)的车辆和对象的距离信息和/或速率信息。
对于传感器的一些挑战包括：LiDAR设备测距能力不足，并且如对于交叉路口和遮挡处的交叉交通，难以使用前视相机来估计从自主车辆侧面接近的车辆的速率和距离。此外，Lidar和RADAR设备太昂贵，以至于不能包括尽可能多的所需要的此类传感器以适应各种交叉路口配置处的不同交叉路角度。
所公开的技术和设备包括使用远离自主车辆侧面瞄准的相机来检测潜在干扰车辆和对象的计算机视觉解决方案。处理图像以确定何时以及是否可以“安全通过”(例如沿规划路径安全地继续行进)“T”形及许多其它类型的交叉路口。根据所公开的技术，瞄准自主车辆的侧面空间(例如车辆左右的周围区域)的相机捕捉图像，并且对由相机捕捉的图像进行图像处理，以用于生成通过图像处理标识的对象的边界框。
如本文所使用的，边界框可以是与传感器结果中的对象相关的边界，诸如相机图像、LiDAR图像、RADAR图像或传感器的其它检测结果。边界可以具有诸如矩形、正方形、圆形、梯形、平行四边形形状或任何其它(例如任意)形状。在一些实施方式中，边界可能没有指定形状，或者可以遵循任意形状的对象的边界。边界可以是对象的二维边界或三维边界。例如，边界可以是体素(或包括多个体素)或分割掩模或图。
图3描绘了从相机数据生成的边界框示例。边界框305、315和325从由一个或多个相机拍摄的图像生成。在图3中，边界框305、315和325在代表性图像300的上下文中示出。通过计算机视觉系统或图像处理器来分析图像，以标识对象并且生成勾勒对象轮廓的边界框。在一些实施方式中，深度学习或神经网络可以用于生成边界框。边界框305对应于半挂车，边界框315对应于第一轻型卡车，边界框325对应于第二轻型卡车。
到对象(例如车辆)的距离和对象的速率(例如相对于另一对象)可以通过图像处理来标识，图像处理还可以确定每个对象的边界框。例如，可以从与对象相关联的边界框的时间历史来确定对象的速率。基于到对象的距离和对象的速率，可以确定在对象与自主车辆之间的可能碰撞发生之前的时间量。可能碰撞或撞击之前的该估计时间可以称为碰撞时间(TTC)。位置和/或距离估计可以使用各种传感器和算法来完成。例如，可以利用使用投影技术和固有及非固有相机参数的单个相机来估计位置，或者可以利用立体相机和几何关系来估计位置，或者可以利用LiDAR来估计位置，或者利用上述各项的组合来估计位置。速率估计可以使用卡尔曼滤波或其它估计技术。位置和速率信息二者都可能会包括噪声。基于位置估计和速率估计，可以生成机器学习模型(例如XGboost、随机森林(或随机决策森林)等)以预测碰撞时间。当自主车辆停止时，由(例如位于车辆上或车辆中的)相机捕捉的图像更稳定。这种稳定性可以实现对速率和距离的更好估计。相反，当自主车辆移动时，图像质量以及进而距离和速度估计的噪声可能更多，从而导致估计不太准确。通过在自主车辆停止时捕捉图像，可以确定更好的距离和速率数据。特别设计的相机安装设备可以用于减小相机振动，从而允许在自主车辆移动时进行更准确的估计。
在本专利文献中公开的技术所克服的第一个挑战是对150米或更远距离处的车辆和对象成像。长焦距相机可以提供长距离检测，但视场将受限。短焦距相机视场更宽，但检测距离有限。所公开的技术包括动态地裁剪捕捉图像以放大道路交叉口两侧的道路区域。相对的短焦距相机可以用于确定近处对象的TTC(碰撞时间)，并且长焦距相机可以用于确定远处对象的TTC。
本文公开的技术所克服的第二个挑战是标识在连续图像中经标识移动车辆的行进方向。与更早拍摄的图像相比，更晚拍摄的图像中的朝向自主车辆相机移动的车辆将生成尺寸更大的边界框。与更早拍摄的图像相比，更晚拍摄的图像中的远离自主车辆移动的车辆将具有尺寸更小的边界框。对于自主车辆近距离范围内的车辆，可以对连续边界框进行组合，从而可以快速确定其行进方向。对于远处的车辆，可以使用更长的历史来可靠地确定行进方向。必须在远处对象移动更长距离后，自主车辆才能够确定边界框是变得更小还是更大，并且对其位置的估计将具有与之相关联的更多噪声。对于前几帧(例如大约0.3秒)，远处对象的位置可能看起来有些随机的四处移动，而非沿一个方向移动。方向和位置可以通过累积观察(例如对多个帧的位置求平均，以及对多个帧的方向求平均)确定。
在一些示例实施例中，机器学习系统可以用于提取重要特征，诸如边界框类别、边界框尺寸历史、边界框相对距离/位置历史和相对移动速率历史等，从而允许确定车辆以秒计的TTC。机器学习系统可以包括深度学习系统，深度学习系统接收来自相机的图像和/或来自LiDAR传感器的点云形式的输入。机器学习系统学习检测图像和/或点云中的对象，并且返回边界框信息，诸如对象尺寸、对象类别、对象位置等。不同类型的道路交叉口或大曲率的道路、桥梁或公路匝道可以具有对应的不同阈值TTC时间。诸如道路曲率、道路结构和(沿着道路和横穿道路的)角度的因素可以影响TTC阈值。在一些示例实施例中，可以调整参数以找到针对各种类型的交叉路口的最佳TTC阈值。对于特定道路和交通状况的TTC时间，当该时间大于或等于TTC阈值时，自主车辆行进(例如沿轨迹或规划路径继续行进)是安全的，当该时间小于阈值时，通过是不安全的。
当朝向自主车辆一侧(例如左侧或右侧)的视野被阻挡时，可以向自主车辆系统的运动规划部件发送信号，以确保TTC模型禁止沿“盲”方向行驶。
在做出“安全进行”决策之前，TTC模型可以确定对于多个连续帧都是可以“安全通过”的。所需帧数取决于估计参数中的噪声水平。例如，噪声较多的位置估计、速率估计和/或方向估计将需要在做出“安全通过”的决策前分析更多数量的帧。如果检测到车辆并且车辆正朝向自主车辆移动但稍后在检测中消失，则可以在TTC模型中添加虚拟车辆。这样确保了车辆的连续跟踪。在这种情况下，定时器必须在决定安全通过之前倒计时到零。例如，倒计时定时器可以被设定为取决于车辆的最后已知位置和速率的时间值。对于更远或缓慢移动的车辆，可以将倒计时定时器设定为更高的值。安全缓冲时间量可以被添加到倒计时时间，以确保安全。
“位置锁”可以用于使自主卡车停在对两个方向上的交叉交通车辆均有良好视野的良好位置。在TTC模型指示(或确定)卡车可以安全通过之前，卡车可以到达预设点。此外，在进行TTC预测之前，TTC模型可以检查侧面相机图像质量。道路测试信息可以用于确定“位置锁”位置。
虽然上面描述了“T”形和“Y”形交叉路口，但所公开的方法和系统也可以用于许多其它类型的道路配置，诸如四向停车、道路合并、车道封闭、非受控交叉路口和受控交叉路口。本专利文献中公开的技术可以用于通过使自主车辆在接近具有交通的交叉路口时减速，帮助在不受控制交叉路口避免事故。
图4描绘了根据一些示例实施例的过程400。过程400包括上文和图1至图3中描述的各种特征。在410，该过程包括从侧视相机传感器接收系列道路图像，其中，该系列道路图像中的每个图像在不同的时间拍摄。在420，该过程包括确定系列道路图像中的对象的系列边界框。在430，该过程包括针对边界框中的每个对象，确定其行进方向或静止度(例如关于对象的运动没有随着时间变化的数据)。在440，该过程包括确定边界框中每个对象的速率或静止度。在450，该过程包括基于对象的行进方向、速率或静止度，确定自主驾驶车辆是否可以在预定方向上安全地移动。在460，该过程包括基于对自主驾驶车辆是否可以在预定方向上安全地移动的确定，向自主驾驶车辆发送一个或多个控制信号，以使自主驾驶车辆移动或保持静止。
图5至图7示出例如当车辆正在行驶或车辆停在交叉路口时，用于分解自主车辆周围的三维空间的方法示例。代替、或额外于使用边界框来表示潜在干扰车辆和对象，可以选择空间中的点。仅在该点处而非自主车辆周围空间中的其它位置处确定该点的特性，包括对象是否位于各个点处(例如对象是否存在)以及对象的速率。例如，可以选择三维空间中的点来表示该空间。例如，点可以选择为均匀地分布在自主车辆周围的整个三维空间中。在另一示例中，点可以以预定平均密度随机分布。因为包括自主车辆周围的所有空间可能会导致在计算上不可能处理的点数，所以可以基于点相对于自主车辆的位置和自主车辆的规划路径来选择点。也可以选择规划路径之外但可能存在干扰车辆的区域中的点。规划路径之外且可能存在潜在干扰车辆的区域之外的点可以忽略。以这种方式，选定点表示感知系统和自主驾驶系统应当分析以确定其是否可以安全通过(例如沿规划路径继续行进)的体积。其可以被称为三维地理围栏。
控制器可以使用预定位置和方向确定哪些交叉路口需要使用TTC(碰撞时间)模块。为了确保可见性，TTC模块将确定自主车辆是否处于可用的起始位置并且指向正确的方向。当自主车辆不在可用位置或者指向错误的方向时，TTC可以确定不能行进。
在一些示例实施例中，当自主车辆处于可用位置并且指向正确方向时，“位置锁”逻辑状态为真，并且当车辆不在可用位置或者指向不正确方向时，“位置锁”逻辑状态为假。当“位置锁”为假时，自主车辆应当移动至正确的或可用的位置和方向。一旦自主车辆处于正确的或可用的位置和方向，则可以执行二维地理围栏、三维地理围栏和遮挡检测。当检测到潜在干扰车辆时，自主车辆不应当继续行进。
在三维地理围栏中，在关注体积的三维世界坐标中确定干扰车辆。关注的三维地理围栏体积可以具有比关注的二维地理围栏区域更小的占位面积，这是因为在约0-100米的LiDAR感知范围内的三维位置具有更高置信度。如果在关注的三维地理围栏体积中检测到任何车辆，则系统可以确定动作可能是不行进。交互模型可用于在决策过程中做出行进和不行进(例如沿规划路径继续行进还是保持在当前位置)的例外动作。
图5描绘了分解自主车辆510周围的三维空间的说明性示例500。自主车辆510计划沿路径570从道路507左转至道路505。如上所述，分析自主车辆510周围的所有三维空间可能需要比可用计算资源(图5中未示出的点)更多的计算资源。此外，不需要分析所有周围空间，因为该空间的许多部分都不太可能或不可能干扰规划路径570。用于分析特定类型的道路地形或交叉路口的空间边界可以通过测试来确定，以确定用于每个特定类型的道路状况的保守分析边界。在图5的示例中，可能干扰自主车辆510的诸如车辆530的对象所在的空间可以包括自主车辆510在采取路径570时必须穿过的道路505的车道505B的一部分，以及自主车辆510进入车道505A的位置处道路505的车道505A的一部分。560处示出车道505B中可能存在潜在干扰对象的空间。空间560包括迎面交通可能干扰的空间，并且(向左)远离自主车辆510延伸至正常迎面交通(沿方向565移动的左侧交叉交通)因为太远而不会造成干扰的位置。同样如图5中所示，车辆540正离开空间560，并且进入邻近自主车辆510所在道路507的车道507B的车道507A。车道507A的交通模式与车道507B的交通模式方向相反。550处示出车道505A中可能存在潜在干扰对象的空间。如图5所示，车辆520在空间550内行驶。空间550包括迎面交通(沿与车辆510的规划行进方向相同的方向555移动的交通)可能干扰车辆510沿路径570前进的空间，并且(向右)远离自主车辆510延伸至沿方向555移动的正常迎面交通不会造成干扰的位置。通过将待分析空间减少为550和560，而不是没有限制的整个空间，计算复杂度大大降低。如上所述，在一些示例实施例中，空间可以用分布在三维空间中的点或二维空间中的点来表示。
对三维地理围栏的调整可以包括遮挡检测。对来自LiDAR和相机传感器的数据的分析可确定对象在地理围栏内部的某一部分阻挡传感器的视野。例如，图5中的车辆530可能正在遮挡自主车辆510的传感器，使得传感器无法获取足够的道路视野以收集足够的数据确定是否可以安全地继续行进。车辆530的遮挡可能需要自主驾驶系统等待，直到视野不再被遮挡为止，可以收集传感器数据并且做出自主车辆是否可以安全地继续行进的决策。对地理围栏的另一调整可以包括速度相关的地理围栏。例如，如果潜在干扰车辆正高速接近自主车辆的规划路径区域，则与潜在干扰车辆以限速或更低速率行驶的情况相比，地理围栏可以从自主车辆延伸更远距离。以这种方式，地理围栏的尺寸可以根据潜在干扰车辆的速率或速度而改变。
图6A描绘了朝自主车辆的左侧向外看的图像示例和朝自主车辆的右侧向外看的图像的另一示例。通过使用相机姿态的反向投影，关注车道边界被投影回图像(图像上的关注区域是2D地理围栏)。利用准确的相机姿态，可以确定车辆是否干扰三维世界中的关注空间区域(例如延伸超过300米的区域)。干扰可以通过比较潜在干扰车辆的车辆边界框与二维地理围栏区域来确定。
例如，左图像580A示出车道584A中的车辆582远离自主车辆移动，并且车道586A上的车辆588朝向自主车辆移动。车道586A是二维地理围栏的一部分，因为其是诸如车辆588的车辆可以干扰自主车辆的区域中的一个区域。车道584A不是二维地理围栏的一部分，因为车道584A上的车辆不会干扰自主车辆。右图像580B示出车道586B中的车辆590远离自主车辆移动，并且车道584B上的车辆592朝向自主车辆移动。车道584B位于二维地理围栏的一部分中，因为其是诸如车辆592的车辆可以干扰自主车辆的区域中的一个区域。车道586B不是二维地理围栏的一部分，因为车道586B上的车辆不会干扰自主车辆。车道584B和车道584A对应于同一道路车道，车道586B和车道586A对应于同一道路车道。
地理围栏边界可以针对不同的车辆或道路类型而改变。例如，快速移动的大型车辆将导致更长范围的二维地理围栏。在相机姿态的置信度不足以确定二维地理围栏的情况下，可以做出不通过决策(即不继续行进的决策)。可以通过在二维地理围栏的关注区域中找到先前已经消失(诸如从遮挡后方通过)的车辆来捕捉跟踪误差。这可以为自主车辆提供额外保护。
图6B描绘了被卡车遮挡的体积示例图。例如，当位于自主车辆右侧的车辆或对象远离自主车辆移动时，可能发生遮挡，其中，当自主车辆试图进行无保护左转弯时，对象可能阻挡右侧的迎面交通视野。例如，卡车770可能会在遮挡体积775内阻挡自主车辆的视野。为了确定是否存在对迎面交通的遮挡，必须确定车辆或移动对象是否可以被隐藏在阻挡区域内。充满随机采样点的关注三维体积782可以被投影回二维图像，并且可以通过计算遮挡的边界框中的点数，估计遮挡车辆或对象的体积。当体积足以隐藏汽车、自行车或行人时，自主车辆可以不继续行进，直到遮挡移动并且可以针对干扰物分析遮挡体积为止。界定体积内的点数与物理体积成正比。在图6B的示例中，卡车770在车道762中移动远离。自主车辆计划在车道764的左向延伸部分进行左转。车道764对应于二维地理围栏区域中的一个二维地理围栏区域，这是因为车道764中被卡车770遮挡或未被遮挡的车辆可能会干扰自主车辆。三维体积或地理围栏780可以被转换成二维地理围栏，如在车道764中的阴影所示。
图6C描绘了将三维地理围栏降为二维地理围栏的说明性示例。例如，点610可以以与上述三维点类似的方式选择，但位于距离地面固定高度处，诸如0.5m、1m或1.5m。二维点可以用作二维地理围栏，其中，传感器数据在二维点集610处获取。在二维地理围栏与诸如对象620的对象相交的情况下，在位于交叉上的点612处确定该对象的相关数据。
图7描绘了自主车辆周围的三维空间被分解为包括立方体710的立方体的说明性示例。例如，立方体可以与对应于从传感器观察到的左右方向的x轴715、对应于从传感器观察到的上下方向的y轴720，以及对应于从传感器观察到的更远或更近的距离的z轴725对准。立方体可以包含点730，其中，每个点具有x值、y值和z值。三维立方体可以折叠为系列二维正方形，包括可以用作二维地理围栏的正方形750。在一些示例实施例中，在保持点的x值和y值的同时，将点折叠至具有单个z值的平面中。可以在点730处分析该系列二维正方形以寻找潜在干扰对象。
通过减少被分析的点数，降低了计算复杂度。
图8描绘了根据一些示例实施例的自主驾驶车辆中的相机视觉方法或过程800。在810，该方法包括从系列图像中确定一个或多个道路的多个三维边界。用相机传感器捕捉一个或多个道路的图像。在820，该方法包括在一个或多个道路的多个三维边界内，选择包围自主车辆的三维空间内的系列点。在一些实施例中，三维空间可以划分为固定尺寸的立方体，该立方体包含系列点中的一个或多个点，该一个或多个点可以被选择为具有地面上方的固定高度，诸如0.5米、1.0米、1.5米或其它高度。在830，该方法包括针对系列点中的每个点确定对象是否存在。在一些示例实施例中，该方法包括针对系列点中的每个点，确定该点处是否存在对象。在840，该方法包括针对确定存在的每个对象，确定其静止度(例如关于对象的运动没有随时间变化的数据)或行进方向及速率。在一些实施例中，当所确定的对象的速率高于阈值时，三维空间中的一些点比至少一个三维边界更远。在850，该方法包括基于行进方向以及每个对象的速率或静止度，确定自主驾驶车辆是否可以在预定方向上安全地移动。针对系列点确定自主驾驶车辆是否可以在预定方向上安全地移动可以需要的计算资源比确定一个或多个道路的多个三维边界内整个空间的安全性所需要的计算资源更少。在860，该方法包括基于对自主驾驶车辆是否可以在预定方向上安全地移动的确定，向自主驾驶车辆发送一个或多个控制信号，以使自主驾驶车辆移动或保持静止。
在一些示例实施例中，该方法包括将多个三维边界的范围降为下述空间：空间内以对象速率存在的对象干扰在预定方向上移动的自主驾驶车辆。
在一些示例实施例中，该方法包括从图像确定相机传感器视野是否被对象遮挡，使得相机传感器无法捕捉一个或多个道路的至少部分的图像。当视野被遮挡时，使得自主车辆不移动，并且当视野未被遮挡时，可以允许自主车辆移动。
在一些实施例中，立方体可以在一个维度上折叠以生成二维正方形，其中，系列点中的一个或多个点在一个维度上用固定坐标值表示，并且在其它两个维度上保持折叠之前的坐标值。
图9描绘了根据所公开技术的示例装置900。例如，装置900可以实现方法400(如图4所示)、方法800(如图8所示)和/或根据本文所公开技术的其它方法，并且/或可以包括本文描述的各种硬件模块。装置900可以包括一个或多个处理器902，处理器902可以执行代码以实现方法。装置900可以包括存储器904，存储器904可以用于存储处理器可执行代码和/或存储数据。装置900还可以包括通信接口906。例如，通信接口906可以实现一个或多个有线或无线通信协议(例如以太网、LTE、Wi-Fi、蓝牙等)。
本专利文献所公开技术的益处包括使用相机代替LiDAR或RADAR传感器来查看自主车辆的侧面降低了成本。所公开的方法和系统提供了交叉交通的基于相机图像的确定，以及关于其它车辆和对象是否存在、其速率、位置和到自主车辆的距离的确定，以使控制器或机器学习系统确定自主车辆是否可以安全地继续行进。
所公开实施例的一个方面涉及一种用于自主驾驶车辆(也称自主车辆)的相机视觉方法。该方法包括从自主车辆的侧视相机传感器接收系列道路图像，其中，该系列道路图像中的每个图像在不同的时间拍摄。该方法还包括确定系列道路图像中的对象的系列边界框。该方法还包括确定边界框中每个对象的行进方向或静止度，并且确定边界框中每个对象的速率或静止度。该方法还包括基于对象的行进方向、速率或静止度，确定自主驾驶车辆是否可以在预定方向上安全地移动。此外，该方法包括基于对自主驾驶车辆是否可以在预定方向上安全地移动的确定，向自主驾驶车辆发送一个或多个控制信号，以使自主驾驶车辆移动或保持静止。
以下特征可以以任何合理的组合存在于相机视觉方法中。在相机视觉方法中，每个对象的行进方向或静止度可以通过每个边界框的尺寸变化来确定，其中，当系列边界框中的边界框在稍后的时间变大时，对象朝向自主驾驶车辆移动，并且当系列边界框中的边界框在稍后的时间变小时，对象远离自主驾驶车辆移动。替代地，或额外地，可以从系列边界框中每个边界框的尺寸变化率确定边界框中每个对象的速率或静止度，使得当选定边界框的尺寸在系列边界框中的连续边界框之间具有更大尺寸变化时，对应于选定边界框的对象具有更高速率，并且当选定边界框的尺寸在系列边界框中的连续边界框之间具有更小尺寸变化时，对应于选定边界框的对象具有更低速率。在该方法中，可以使用更长的系列道路图像来确定远处对象的行进方向和速率。当确定朝向自主车辆移动的对象存在于系列边界框中的一个边界框内，但不在系列边界框中的一个或多个稍后边界框中时，倒计时定时器可以被设定为使得自主车辆不移动，直到倒计时定时器计时结束。当确定朝向自主车辆移动的对象存在于系列道路图像中的一个图像内，但不在系列道路图像中的一个或多个稍后道路图像中时，倒计时定时器可以被设定为使得自主车辆不移动，直到倒计时定时器计时结束。该方法中，机器学习设备确定自主车辆是否可以在预定方向上安全地移动。可以根据到对象的一个或多个距离来执行图像缩放，其中，选择更多远离自主驾驶车辆的对象的图像缩放，并且选择较少靠近自主驾驶车辆的对象的图像缩放。
所公开实施例的另一方面涉及一种用于自主驾驶的装置。该装置包括至少一个处理器和存储器，存储器可执行指令，当由至少一个处理器执行时，该可执行指令使得装置执行至少以下操作：从侧视相机传感器接收系列道路图像，其中，该系列道路图像中的每个图像在不同的时间拍摄；确定系列道路图像中的对象的系列边界框；确定边界框中每个对象的行进方向或静止度；确定边界框中每个对象的速率或静止度；基于对象的行进方向、速率或静止度，确定自主驾驶车辆是否可以在预定方向上安全地移动；以及基于对自主驾驶车辆是否可以在预定方向上安全地移动的确定，向自主驾驶车辆发送一个或多个控制信号，以使自主驾驶车辆移动或保持静止。
以下特征可以以任何合理的组合存在于用于自主驾驶的装置中。在该装置中，每个对象的行进方向或静止度可以通过每个边界框的尺寸变化来确定，并且在此类装置中，当系列边界框中的边界框在稍后的时间变大时，边界框中的对象朝向自主驾驶车辆移动，并且当系列边界框中的边界框在稍后的时间变小时，边界框中的对象远离自主驾驶车辆移动。装置可以从系列边界框中每个边界框的尺寸变化率确定边界框中每个对象的速率或静止度，使得当选定边界框的尺寸在系列边界框中的连续边界框之间具有更大尺寸变化时，对应于选定边界框的对象具有更高速率，并且相应地，当选定边界框的尺寸在系列边界框中的连续边界框之间具有更小尺寸变化时，对应于选定边界框的对象具有更低速率。在该装置中，可以使用更长的系列道路图像来确定远处对象的行进方向和速率。当确定朝向自主车辆移动的对象存在于系列边界框中的一个边界框内，但不在系列边界框中的一个或多个稍后边界框中时，倒计时定时器可以被设定为使得自主车辆不移动，直到倒计时定时器计时结束为止。当确定朝向自主车辆移动的对象存在于系列道路图像中的一个图像内，但不在系列道路图像中的一个或多个稍后道路图像中时，倒计时定时器可以被设定为使得自主车辆不移动，直到倒计时定时器计时结束为止。该装置可以使用机器学习设备(其例如可以是装置的一部分，或者替代地，可以是例如相对于装置在外部或远程定位的单独设备；例如，机器学习设备可以是位于“云”中的远程服务器)执行确定自主驾驶车辆是否可以在预定方向上安全地移动的过程。装置可以根据到对象的一个或多个距离来执行图像缩放，其中，选择更多远离自主驾驶车辆的对象的图像缩放，并且选择较少靠近自主驾驶车辆的对象的图像缩放。
所公开实施例的又一方面涉及一种存储有用于自主驾驶的可执行指令的非瞬时计算机可读介质，当由至少一个处理器执行时，该指令使得至少一个处理器执行至少以下操作：从自主车辆的侧视相机传感器接收系列道路图像，其中，该系列道路图像中的每个图像在不同的时间拍摄；确定系列道路图像中的对象的系列边界框；确定边界框中每个对象的行进方向或静止度；确定边界框中每个对象的速率或静止度；基于所确定的对象的行进方向、速率或静止度，确定自主驾驶车辆是否可以在预定方向上安全地移动；以及基于对自主驾驶车辆是否可以在预定方向上安全地移动的确定结果，向自主驾驶车辆发送一个或多个控制信号，以使自主驾驶车辆移动或保持静止。
以下特征可以以任何合理的组合存在于非瞬时计算机可读介质中。存储在介质上的指令可以包括通过每个边界框的尺寸变化确定的每个对象的行进方向或静止度状态，使得当系列边界框中的边界框在稍后的时间变大时，边界框指示对象朝向自主驾驶车辆移动，并且当系列边界框中的边界框在稍后的时间变小时，边界框指示对象远离自主驾驶车辆移动。可以从系列边界框中每个边界框的尺寸变化率确定边界框中每个对象的速率或静止度，其中，当选定边界框的尺寸在系列边界框中的连续边界框之间具有更大尺寸变化时，对应于选定边界框的对象具有更高速率，并且其中，当选定边界框的尺寸在系列边界框中的连续边界框之间具有更小尺寸变化时，对应于选定边界框的对象具有更低速率。可以使用更长的系列道路图像来确定远处对象的行进方向和速率。当确定朝向自主车辆移动的对象存在于系列边界框中的一个边界框内，但不在系列边界框中的一个或多个稍后边界框中时，倒计时定时器可以被设定为使得自主车辆不移动，直到倒计时定时器计时结束。当确定朝向自主车辆移动的对象存在于系列道路图像中的一个图像内，但不在系列道路图像中的一个或多个稍后道路图像中时，倒计时定时器可以被设定为使得自主车辆不移动，直到倒计时定时器计时结束。机器学习设备可以用于执行确定自主驾驶车辆是否可以在预定方向上安全地移动的操作。
所公开实施例的一个方面涉及一种用于自主驾驶车辆的相机视觉方法。该方法包括：从由相机传感器捕捉的一个或多个道路的系列图像中确定一个或多个道路的多个三维边界；在自主车辆周围的三维空间中，在一个或多个道路的多个三维边界内选择系列点(例如一个或多个点)；针对系列点中的每个点确定对象是否存在；确定存在的每个对象的静止度或行进方向及速率；基于每个对象的行进方向、速率或静止度，确定自主驾驶车辆是否可以在预定方向上(或沿预定路径或轨迹)安全地移动；以及基于对自主驾驶车辆是否可以在预定方向上安全地移动的确定，向自主驾驶车辆发送一个或多个控制信号，以使自主驾驶车辆移动或保持静止。
以下特征可以以任何合理的组合存在于相机视觉方法中。该方法可以包括将多个三维边界的范围降为下述空间：空间内以对象速率存在的对象干扰在预定方向上移动的自主驾驶车辆。基于系列点确定自主驾驶车辆是否可以在预定方向上安全地移动可能需要的计算资源比基于一个或多个道路的多个三维边界内的整个空间确定自主驾驶车辆是否可以在预定方向上安全地移动所需要的计算资源更少。该方法可以包括从由相机传感器捕捉的系列图像确定相机传感器视野是否被对象遮挡，使得相机传感器无法捕捉一个或多个道路的至少部分的图像，使得当视野被遮挡时自主车辆不移动，并且当视野未被遮挡时，允许自主车辆移动。根据本方法的一些示例实施例，当所确定的对象的速率高于阈值时，三维空间中的一些点比至少一个三维边界更远。在本方法的一些示例实施例中，三维空间可以划分为固定尺寸的立方体，该立方体包含系列点中的一个或多个点。根据某些示例实施例，立方体可以在一个维度上折叠以生成二维正方形，其中，系列点中的一个或多个点在一个维度上用固定坐标值表示，并且在其它两个维度上保持折叠之前的坐标值。在一些示例实施例中，三维空间中的系列点可以被选择为具有地面上方的固定高度。根据某些示例实施例，固定高度可以是0.5米、1.0米或1.5米。
所公开实施例的另一方面涉及一种用于自主驾驶车辆的相机视觉方法。该方法包括从自主车辆的侧视相机传感器接收系列道路图像，其中，该系列道路图像中的每个图像在不同的时间拍摄。该方法还包括针对来自在系列道路图像中捕捉到的对象中的每个对象，生成系列边界框，其中，对象的系列边界框中的每个边界框界定系列道路图像中每个图像内的对象(例如，对象的轮廓线或轮廓边界和/或对象周围的空间或体积(包括对象)的边界)，并且其中，对象系列边界框中的不同边界框对应于不同的图像。在本文中，边界框“对应于”图像意味着边界框表示图像的像素。此外，图像对应于边界框意味着边界框对应于图像。对象的系列边界框中的每个边界框对应于系列道路图像中的一个图像。例如，边界框可以以下述方式包围或包含对象：对象在边界框所对应的图像中的边界框内。该方法还包括从系列道路图像中捕捉的对象确定每个对象的行进方向或静止度。该方法还包括确定已经确定了行进方向的每个对象的速率。待确定行进方向的对象的数量可以小于针对其确定行进方向的对象的总数量。例如，对于行进方向计算，不考虑被认为是静止的对象。该方法还包括基于对象的行进方向、速率或静止度，确定自主驾驶车辆是否可以在预定方向上，或沿预定路径或轨迹，安全地移动。该方法还包括基于对自主驾驶车辆是否可以在预定方向上安全地移动的确定结果，向自主驾驶车辆发送一个或多个控制信号或命令，以使自主驾驶车辆移动或保持静止。
以下特征可以以任何合理的组合存在于相机视觉方法中。根据一些实施方式，该方法可以包括使用针对对象生成的系列边界框，确定对象是移动的还是静止的。而且，如果确定对象是移动的，则可以使用针对对象生成的系列边界框来确定对象的行进方向和对象的速率。例如，如果对应于对象的系列边界框中的边界框的尺寸和位置在对应于边界框的图像之间没有变化，则可以认为对象是静止的。相应地，如果对应于对象的系列边界框中的边界框的尺寸和/或位置在对应于边界框的图像之间发生变化，则可以认为对象是移动的。如果确定对象是移动的，则可以利用针对对象生成的系列边界框中边界框的维度或尺寸变化来确定对象的行进方向，其中，当对应于来自在稍后时间获得的道路图像的系列边界框中的边界框在一个或多个尺寸或维度上大于对应于稍早时间获得的道路图像的系列边界框中的边界框时，则对象正朝向自主驾驶车辆移动，并且当对应于来自在稍后时间获得的道路图像的系列边界框中的边界框在一个或多个尺寸或维度上小于对应于稍早时间获得的道路图像的系列边界框中的边界框时，则对象正远离自主驾驶车辆移动。备选地，或额外地，如果确定对象是移动的，则可以从针对对象生成的系列边界框中边界框的维度或尺寸变化率来确定对象的速率，使得系列边界框中连续边界框之间的大尺寸变化(例如相对尺寸改变)对应于对象的高速率，并且使得系列边界框中连续边界框之间的小尺寸变化对应于对象的低速率。例如，连续边界框对应于系列道路图像中的连续图像。在该方法中，可以使用更长的系列道路图像来确定远处对象的行进方向和/或速率。当确定朝向或远离自主车辆移动的对象存在于系列道路图像中的一个图像内，但不在系列道路图像中的一个或多个稍后道路图像中时，倒计时定时器可以被设定为使得自主车辆不移动，直到倒计时定时器计时结束。该方法中，机器学习设备可以用于确定自主车辆是否可以在预定方向上安全地移动。可以根据到对象的一个或多个距离来执行图像缩放，其中，选择更多远离自主驾驶车辆的对象的图像缩放，并且选择较少靠近自主驾驶车辆的对象的图像缩放。
所公开实施例的一个方面涉及一种用于自主驾驶车辆的相机视觉方法，该方法包括：从自主驾驶车辆的侧视相机传感器接收系列道路图像，其中，该系列道路图像中的每个图像在不同的时间拍摄；针对来自在系列道路图像中捕捉到的对象中的每个对象，生成系列道路图像中的系列边界框，其中，每个边界框对应于系列道路图像中的一个图像；针对上述对象中的每个对象，确定其行进方向或确定该对象是静止的；确定已经确定了行进方向的每个对象的速率；基于对象的行进方向、速率或静止度，确定自主驾驶车辆是否可以在预定方向上安全地移动；以及基于对自主驾驶车辆是否可以在预定方向上安全地移动的确定，向自主驾驶车辆发送一个或多个控制信号，以使自主驾驶车辆移动或保持静止。
在相机视觉方法的一些示例实施例中，利用针对对象生成的系列边界框中边界框的尺寸变化来确定对象的行进方向，其中，当对应于来自在稍后时间获得的道路图像的系列边界框中的边界框在一个或多个尺寸上大于对应于稍早时间获得的道路图像的系列边界框中的边界框时，对象正朝向自主驾驶车辆移动，并且当对应于来自在稍后时间获得的道路图像的系列边界框中的边界框在一个或多个尺寸上小于对应于稍早时间获得的道路图像的系列边界框中的边界框时，对象正远离自主驾驶车辆移动。根据相机视觉方法的某些示例实施例，从针对对象生成的系列边界框中边界框的尺寸变化率来确定对象的速率，使得系列边界框中连续边界框之间的大尺寸变化对应于对象的高速率，并且相应地，系列边界框中连续边界框之间的小尺寸变化对应于对象的低速率。在一些示例实施例中，与用于确定靠近自主驾驶车辆的对象的行进方向和速率的系列道路图像相比，更长的系列道路图像用于确定远处对象的行进方向和速率。根据一些示例实施例，相机视觉方法还包括，当确定朝向自主驾驶车辆移动的对象存在于系列道路图像中的一个图像内，但不在系列道路图像中的一个或多个稍后道路图像中时，设定倒计时定时器，使得自主驾驶车辆不移动，直到倒计时定时器计时结束为止。在某些示例实施例中，使用机器学习设备执行确定自主驾驶车辆是否可以在预定方向上安全地移动的操作。在一些示例实施例中，该方法还包括根据到对象的一个或多个距离执行图像缩放，其中，选择更多远离自主驾驶车辆的对象的图像缩放，并且选择较少靠近自主驾驶车辆的对象的图像缩放。
所公开实施例的一个方面涉及一种用于自主驾驶车辆的装置，包括至少一个处理器和存储器，存储器包括可执行指令，当由至少一个处理器执行时，该可执行指令使得装置执行至少以下操作：从自主驾驶车辆的侧视相机传感器接收系列道路图像，其中，该系列道路图像中的每个图像在不同的时间拍摄；针对来自在系列道路图像中捕捉到的对象中的每个对象，生成系列道路图像中的系列边界框，其中，系列边界框中的每个边界框对应于系列道路图像中的一个图像；针对上述对象中的每个对象，确定其行进方向或确定该对象是静止的；确定已经确定了行进方向的每个对象的速率；基于对象的行进方向、速率或静止度，确定自主驾驶车辆是否可以在预定方向上安全地移动；以及基于对自主驾驶车辆是否可以在预定方向上安全地移动的确定，向自主驾驶车辆发送一个或多个控制信号，以使自主驾驶车辆移动或保持静止。
在用于自主驾驶车辆的装置的一些示例实施例中，利用针对对象生成的系列边界框中边界框的尺寸变化来确定对象的行进方向，其中，当对应于来自在稍后时间获得的道路图像的系列边界框中的边界框在一个或多个尺寸上大于对应于稍早时间获得的道路图像的系列边界框中的边界框时，对象正朝向自主驾驶车辆移动，并且当对应于来自在稍后时间获得的道路图像的系列边界框中的边界框在一个或多个尺寸上小于对应于稍早时间获得的道路图像的系列边界框中的边界框时，对象正远离自主驾驶车辆移动。根据装置的某些示例实施例，从针对对象生成的系列边界框中边界框的尺寸变化率来确定对象的速率，使得系列边界框中连续边界框之间的大尺寸变化对应于对象的高速率，并且相应地，系列边界框中连续边界框之间的小尺寸变化对应于对象的低速率。根据某些示例实施例，与用于确定靠近自主驾驶车辆的对象的行进方向和速率的系列道路图像相比，更长的系列道路图像用于确定远处对象的行进方向和速率。在一些示例实施例中，可执行指令还使得装置执行下述操作：当确定朝向自主驾驶车辆移动的对象存在于系列道路图像中的一个图像内，但不在系列道路图像中的一个或多个稍后道路图像中时，设定倒计时定时器，使得自主驾驶车辆不移动，直到倒计时定时器计时结束。根据一些示例实施例，使用机器学习设备执行确定自主驾驶车辆是否可以在预定方向上安全地移动的操作。在装置的一些示例实施例中，可执行指令还使得装置执行下述操作：根据到对象的一个或多个距离执行图像缩放，其中，选择更多远离自主驾驶车辆的对象的图像缩放，并且选择较少靠近自主驾驶车辆的对象的图像缩放。
所公开实施例的又一方面涉及一种存储有用于自主驾驶车辆的可执行指令的非瞬时计算机可读介质，当由至少一个处理器执行时，该指令使得至少一个处理器执行至少以下操作：从自主驾驶车辆的侧视相机传感器接收系列道路图像，其中，该系列道路图像中的每个图像在不同的时间拍摄；针对来自在系列道路图像中捕捉到的对象中的每个对象，生成系列道路图像中的系列边界框，其中，系列边界框中的每个边界框对应于系列道路图像中的一个图像；针对上述对象中的每个对象，确定其行进方向或确定该对象是静止的；确定已经确定了行进方向的每个对象的速率；基于对象的行进方向、速率或静止度，确定自主驾驶车辆是否可以在预定方向上安全地移动；以及基于对自主驾驶车辆是否可以在预定方向上安全地移动的确定，向自主驾驶车辆发送一个或多个控制信号，以使自主驾驶车辆移动或保持静止。
在非瞬时计算机可读介质的一些示例实施例中，利用针对对象生成的系列边界框中边界框的尺寸变化来确定对象的行进方向，其中，当对应于来自在稍后时间获得的道路图像的系列边界框中的边界框在一个或多个尺寸上大于对应于稍早时间获得的道路图像的系列边界框中的边界框时，对象正朝向自主驾驶车辆移动，并且当对应于来自在稍后时间获得的道路图像的系列边界框中的边界框在一个或多个尺寸上小于对应于稍早时间获得的道路图像的系列边界框中的边界框时，对象正远离自主驾驶车辆移动。根据某些示例实施例，从针对对象生成的系列边界框中边界框的尺寸变化率来确定对象的速率，使得系列边界框中连续边界框之间的大尺寸变化对应于对象的高速率，并且相应地，系列边界框中连续边界框之间的小尺寸变化对应于对象的低速率。在一些示例实施例中，与用于确定靠近自主驾驶车辆的对象的行进方向和速率的系列道路图像相比，更长的系列道路图像用于确定远处对象的行进方向和速率。根据一些示例实施例，当由至少一个处理器执行时，该指令还使得至少一个处理器执行下述操作：当确定朝向自主车辆移动的对象存在于系列道路图像中的一个图像内，但不在系列道路图像中的一个或多个稍后道路图像中时，设定倒计时定时器，使得自主驾驶车辆不移动，直到倒计时定时器计时结束。根据非瞬时计算机可读介质的某些示例实施例，使用机器学习设备执行确定自主驾驶车辆是否可以在预定方向上安全地移动的操作。
所公开实施例的一个方面涉及一种用于自主驾驶车辆的相机视觉方法，该方法包括：从由自主驾驶车辆的相机传感器捕捉的一个或多个道路的系列图像中确定一个或多个道路的多个三维边界；在一个或多个道路的多个三维边界内，选择自主驾驶车辆周围的三维空间内的系列点；针对系列点中的每个点，确定该点处是否存在对象；确定存在于系列点中各点处的每个对象的静止度或行进方向及速率；基于系列点中各点处存在的每个对象的行进方向、速率或静止度，确定自主驾驶车辆是否可以在预定方向上安全地移动；以及基于对自主驾驶车辆是否可以在预定方向上安全地移动的确定，向自主驾驶车辆发送一个或多个控制信号，以使自主驾驶车辆移动或保持静止。
在相机视觉方法的一些示例实施例中，该方法还包括将多个三维边界的范围降为下述空间：空间内以对象速率存在的对象干扰在预定方向上移动的自主驾驶车辆。根据某些示例实施例，该方法还包括从由相机传感器捕捉的系列图像确定相机传感器视野是否被对象遮挡，使得相机传感器无法捕捉一个或多个道路的至少部分的图像，其中，当视野被遮挡时使得自主驾驶车辆不移动，并且当视野未被遮挡时，允许自主驾驶车辆移动。在一些示例实施例中，将三维空间划分为固定尺寸的立方体，该立方体包含系列点中的一个或多个点。根据一些示例实施例，该方法还包括将三维空间划分为固定尺寸的立方体。根据某些示例实施例，立方体包含系列点中的一个或多个点。在一些示例实施例中，立方体在一个维度上折叠以生成二维正方形，其中，系列点中的一个或多个点在正方形上用下述点表示：该点在一个维度上具有固定坐标值，并且在其它两个维度上具有与立方体折叠之前一个或多个点的坐标值相等的坐标值。根据某些示例实施例，该方法还包括从立方体形成二维正方形，其中，二维正方形对应于沿一个维度折叠的立方体。在一些示例实施例中，位于立体内的系列点中的一个或多个点被转移至二维正方形。在一些示例实施例中，系列点中的一个或多个点在正方形上以下述方式表示：在一个维度上具有固定坐标值，并且在其它两个维度上保持其坐标值。根据某些示例实施例，立方体在一个维度上折叠以生成二维正方形，其中，系列点中的一个或多个点在正方形上以下述方式表示：在一个维度上具有固定坐标值，并且在其它两个维度上保持折叠之前的坐标值。在一些示例实施例中，三维空间中的系列点被选择为具有地面上方的固定高度。根据相机视觉方法的某些示例实施例，固定高度是0.5米、1.0米或1.5米。根据某些示例实施例，固定高度可以是0.1米-10米之间范围内的任何高度。在一些示例实施例中，针对系列点确定自主驾驶车辆是否可以在预定方向上安全地移动需要的计算资源比在一个或多个道路的多个三维边界内确定自主驾驶车辆是否可以在预定方向上安全地移动所需要的计算资源更少。根据相机视觉方法的一些示例实施例，当所确定的对象的速率高于阈值时，三维空间中的一些点比至少一个三维边界更远。
本专利文献所公开技术的实施方式和本专利文献中描述的功能操作可以在各种系统、半导体器件、超声器件、数字电子电路，或计算机软件、固件或硬件中实现，包括本说明书中公开的结构及其结构等同物，或者可以在上述一个或多个的组合中实现。本文所公开技术的各个方面的实施方式可以实现为一个或多个计算机程序产品，例如，编码在有形和非瞬时计算机可读介质上的计算机程序指令的一个或多个模块，以由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、实现机器可读传播信号的物质组合或其中一个或多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机，或多个处理器或计算机。除了硬件之外，该装置可以包括为所讨论的计算机程序创建执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统或其中一个或多个的组合的代码。
计算机程序(也称程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写，包括编译或解释语言，并且其可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其它单元。计算机程序不一定与文件系统中的文件相对应。程序可以存储在保存其它程序或数据的文件的一部分中(例如存储在标记语言文档中的一个或多个脚本)、存储在专用于所讨论程序的单个文件中，或者存储在多个协同文件中(例如存储一个或多个模块、子程序或部分代码的文件)。计算机程序可以被部署为在一个计算机上执行，或者在位于一个地点或分布在多个地点并通过通信网络互连的多个计算机上执行。
本说明书中描述的过程和逻辑流程可以由一个或多个可编程处理器执行，该可编程处理器执行一个或多个计算机程序，以通过对输入数据进行操作并生成输出来执行功能。这些过程和逻辑流程还可以由专用逻辑电路来执行，并且装置也可以实现为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
适用于执行计算机程序的处理器包括，例如通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。一般地，处理器从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是处理器，用于执行指令，以及一个或多个存储设备，用于存储指令和数据。一般地，计算机还包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，或者可操作地耦接至一个或多个大容量存储设备，以从其接收数据或向其传送数据，或者两者。然而，计算机不一定具有这些设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储设备，包括例如半导体存储设备，例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
在本公开中，LiDAR和LIDAR用于指代光检测和测距设备及方法，并且替代地或额外地，指代激光检测和测距设备及方法。这些缩写的使用并非暗示将所描述的设备、系统或方法限制为一个在另一个之上使用。
虽然本专利文档包含许多细节，但这些细节不应解释为对任何发明的范围或可能要求保护的范围的限制，而应解释为对可能特定于特定发明的特定实施例的特征的描述。本专利文档中在单独实施例的背景中描述的某些特征也可以在单个实施例中组合实现。相反地，在单个实施例的背景中描述的各种特征也可以在多个实施例中单独地或以任何适当的子组合来实现。此外，虽然特征可能在上文中被描述为在某些组合中起作用并且甚至最初被这样要求保护，但来自所要求保护的组合的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以是针对子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但这不应理解为要求以所示的特定顺序或以连续顺序执行这些操作，或者要求执行所有示出的操作以达到期望结果。此外，本专利文档中描述的实施例中的各种系统部件的分离不应理解为在所有实施例中都需要这种分离。
仅描述了一些实施方式和示例，并且基于本专利文档中所描述和示出的内容，可以做出其它实施方式、增强和变型。

Claims (21)

1.一种用于自主驾驶车辆的相机视觉方法，所述方法包括：
从所述自主驾驶车辆的侧视相机传感器接收系列道路图像，其中，所述系列道路图像中的每个图像在不同的时间拍摄；
针对来自在所述系列道路图像中捕捉到的对象中的每个对象，生成所述系列道路图像中的系列边界框，其中，每个边界框对应于所述系列道路图像中的一个图像；
针对来自所述对象的每个对象，确定所述对象的行进方向或确定所述对象是静止的；
确定已经确定了所述行进方向的每个对象的速率；
基于所述对象的所述行进方向、速率或静止度，确定所述自主驾驶车辆是否可以在预定方向上安全地移动；以及
基于对所述自主驾驶车辆是否可以在所述预定方向上安全地移动的所述确定，向所述自主驾驶车辆发送一个或多个控制信号，以使所述自主驾驶车辆移动或保持静止。
2.根据权利要求1所述的方法，其中，使用针对所述对象生成的在所述系列边界框中边界框的尺寸变化，来确定来自所述对象的对象的所述行进方向，其中，当对应于来自在稍后时间获得的所述道路图像的所述系列边界框中的边界框在一个或多个尺寸上大于对应于来自在稍早时间获得的所述道路图像的所述系列边界框中的边界框时，所述对象正朝向所述自主驾驶车辆移动，并且当对应于来自在稍后时间获得的所述道路图像的所述系列边界框中的边界框在一个或多个尺寸上小于对应于来自在稍早时间获得的所述道路图像的所述系列边界框中的边界框时，所述对象正远离所述自主驾驶车辆移动。
3.根据权利要求1所述的方法，还包括：当确定朝向所述自主驾驶车辆移动的对象存在于所述系列道路图像中的一个图像内、但不在所述系列道路图像中的一个或多个稍后图像中时，设定倒计时定时器，使得所述自主驾驶车辆不移动，直到所述倒计时定时器计时结束为止。
4.一种用于自主驾驶车辆的装置，包括：
至少一个处理器；以及
包括可执行指令的存储器，当由所述至少一个处理器执行时，所述可执行指令使得所述装置执行至少以下操作：
从所述自主驾驶车辆的侧视相机传感器接收系列道路图像，其中，所述系列道路图像中的每个图像在不同的时间拍摄；
针对来自在所述系列道路图像中捕捉到的对象中的每个对象，生成所述系列道路图像中的系列边界框，其中，所述系列边界框中的每个边界框对应于所述系列道路图像中的一个图像；
针对来自所述对象的每个对象，确定所述对象的行进方向或确定所述对象是静止的；
确定已经确定了所述行进方向的每个对象的速率；
基于所述对象的所述行进方向、速率或静止度，确定所述自主驾驶车辆是否可以在预定方向上安全地移动；以及
基于对所述自主驾驶车辆是否可以在所述预定方向上安全地移动的所述确定，向所述自主驾驶车辆发送一个或多个控制信号，以使所述自主驾驶车辆移动或保持静止。
5.根据权利要求4所述的装置，其中，使用针对所述对象生成的在所述系列边界框中边界框的尺寸变化，来确定来自所述对象中的对象的所述行进方向，其中，当对应于来自在稍后时间获得的所述道路图像的所述系列边界框中的边界框在一个或多个尺寸上大于对应于来自在稍早时间获得的所述道路图像的所述系列边界框中的边界框时，所述对象正朝向所述自主驾驶车辆移动，并且当对应于来自在稍后时间获得的所述道路图像的所述系列边界框中的边界框在一个或多个尺寸上小于对应于来自在稍早时间获得的所述道路图像的所述系列边界框中的边界框时，所述对象正远离所述自主驾驶车辆移动。
6.根据权利要求4所述的装置，其中，从针对所述对象生成的所述系列边界框中边界框的尺寸变化率来确定来自所述对象中的对象的所述速率，使得在所述系列边界框中连续边界框之间的更大尺寸变化对应于所述对象的更高速率，并且在所述系列边界框中连续边界框之间的更小尺寸变化对应于所述对象的更低速率。
7.根据权利要求4所述的装置，其中，使用机器学习设备执行确定所述自主驾驶车辆是否可以在所述预定方向上安全地移动的操作。
8.根据权利要求4所述的装置，其中，所述可执行指令还使得所述装置：根据到所述对象的一个或多个距离执行图像缩放，其中，针对更远离所述自主驾驶车辆的对象选择更多图像缩放，并且针对更靠近所述自主驾驶车辆的对象选择更少图像缩放。
9.一种存储用于自主驾驶车辆的可执行指令的非瞬时计算机可读介质，当由至少一个处理器执行时，所述指令使得所述至少一个处理器执行至少以下操作：
从所述自主驾驶车辆的侧视相机传感器接收系列道路图像，其中，所述系列道路图像中的每个图像在不同的时间拍摄；
针对来自在所述系列道路图像中捕捉到的对象中的每个对象，生成所述系列道路图像中的系列边界框，其中，所述系列边界框中的每个边界框对应于所述系列道路图像中的一个图像；
针对来自所述对象的每个对象，确定所述对象的行进方向或确定所述对象是静止的；
确定已经确定了所述行进方向的每个对象的速率；
基于所述对象的所述行进方向、速率或静止度，确定所述自主驾驶车辆是否可以在预定方向上安全地移动；以及
基于对所述自主驾驶车辆是否可以在所述预定方向上安全地移动的所述确定，向所述自主驾驶车辆发送一个或多个控制信号，以使所述自主驾驶车辆移动或保持静止。
10.根据权利要求9所述的非瞬时计算机可读介质，其中，使用针对所述对象生成的在所述系列边界框中边界框的尺寸变化，来确定来自所述对象中的对象的行进方向，其中，当对应于来自在稍后时间获得的所述道路图像的所述系列边界框中的边界框在一个或多个尺寸上大于对应于来自在稍早时间获得的所述道路图像的所述系列边界框中的边界框时，所述对象正朝向所述自主驾驶车辆移动，并且当对应于来自在稍后时间获得的所述道路图像的所述系列边界框中的边界框在一个或多个尺寸上小于对应于来自在稍早时间获得的所述道路图像的所述系列边界框中的边界框时，所述对象正远离所述自主驾驶车辆移动。
11.根据权利要求9所述的非瞬时计算机可读介质，其中，从针对所述对象生成的所述系列边界框中边界框的尺寸变化率来确定来自所述对象中的对象的所述速率，使得在所述系列边界框中连续边界框之间的更大尺寸变化对应于所述对象的更高速率，并且在所述系列边界框中连续边界框之间的更小尺寸变化对应于所述对象的更低速率。
12.根据权利要求9所述的非瞬时计算机可读介质，其中，与用于确定靠近所述自主驾驶车辆的对象的行进方向和速率的系列道路图像相比，更长的系列道路图像用于确定在远处的对象的所述行进方向和所述速率。
13.根据权利要求9所述的非瞬时计算机可读介质，其中，当由所述至少一个处理器执行时，所述指令还使得所述至少一个处理器：当确定朝向所述自主驾驶车辆移动的对象存在于所述系列道路图像中的一个图像内、但不在所述系列道路图像中的一个或多个稍后图像中时，设定倒计时定时器，使得所述自主驾驶车辆不移动，直到所述倒计时定时器计时结束为止。
14.根据权利要求9所述的非瞬时计算机可读介质，其中，使用机器学习设备执行确定所述自主驾驶车辆是否可以在所述预定方向上安全地移动的操作。
15.一种用于自主驾驶车辆的相机视觉方法，所述方法包括：
从由所述自主驾驶车辆的相机传感器捕捉的一个或多个道路的系列图像中确定所述一个或多个道路的多个三维边界；
在针对所述一个或多个道路的所述多个三维边界内，选择所述自主驾驶车辆周围的三维空间中的系列点；
针对在所述系列点中的每个点，确定在所述点处是否存在对象；
确定针对存在于所述系列点中的点处的每个对象的静止度或行进方向及速率；
基于在所述系列点中的点处存在的每个对象的行进方向、速率或静止度，确定所述自主驾驶车辆是否可以在预定方向上安全地移动；以及
基于对所述自主驾驶车辆是否可以在所述预定方向上安全地移动的所述确定，向所述自主驾驶车辆发送一个或多个控制信号，以使所述自主驾驶车辆移动或保持静止。
16.根据权利要求15所述的方法，还包括：
将所述多个三维边界的范围降为下述空间：所述空间中以所述对象速率存在的对象干扰在所述预定方向上移动的所述自主驾驶车辆。
17.根据权利要求15所述的方法，还包括：
从由所述相机传感器捕捉的所述系列图像确定所述相机传感器视野是否由对象遮挡，所述遮挡防止所述相机传感器捕捉所述一个或多个道路的至少部分的图像，其中，当所述视野被遮挡时，使得所述自主驾驶车辆不移动，并且当所述视野未被遮挡时，允许所述自主驾驶车辆移动。
18.根据权利要求15所述的方法，其中，将所述三维空间划分为固定尺寸的立方体，所述立方体包含所述系列点中的一个或多个点。
19.根据权利要求18所述的方法，其中，所述立方体在一个维度上被折叠以生成二维正方形，其中，所述系列点中的一个或多个点在所述正方形上以下述方式表示：在一个维度上具有固定坐标值，并且在其它两个维度上保持所述其它两个维度被折叠之前的坐标值。
20.根据权利要求15所述的方法，其中，所述三维空间中的所述系列点被选择为具有在地面上方的固定高度。
21.根据权利要求17所述的方法，其中，所述固定高度是0.5米、1.0米或1.5米。
CN202110719350.3A 2020-06-26 2021-06-28 自主驾驶碰撞预防 Pending CN113844443A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063044656P 2020-06-26 2020-06-26
US63/044,656 2020-06-26

Publications (1)

Publication Number Publication Date
CN113844443A true CN113844443A (zh) 2021-12-28

Family

ID=78975365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110719350.3A Pending CN113844443A (zh) 2020-06-26 2021-06-28 自主驾驶碰撞预防

Country Status (2)

Country Link
US (2) US11912310B2 (zh)
CN (1) CN113844443A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522350B (zh) * 2020-07-06 2020-10-09 深圳裹动智驾科技有限公司 感知方法、智能控制设备及自动驾驶车辆
US20220245831A1 (en) * 2021-01-29 2022-08-04 Naver Corporation Speed estimation systems and methods without camera calibration
JP7569010B2 (ja) * 2021-02-10 2024-10-17 トヨタ自動車株式会社 車両用画像処理システム、車両及び画像送信方法
US11731630B2 (en) * 2021-04-27 2023-08-22 Ford Global Technologies, Llc Methods and systems for asserting right of way for traversing an intersection
US12071136B2 (en) * 2022-04-18 2024-08-27 Gm Cruise Holdings Llc Navigating minor-major intersections with an autonomous vehicle
US20230350034A1 (en) * 2022-04-28 2023-11-02 Toyota Research Institute, Inc. System and method for adjusting bounding box dimensions
DE102022112318B3 (de) 2022-05-17 2023-08-03 Audi Aktiengesellschaft Verfahren zur Ermittlung einer Ausdehnungsinformation eines Zielobjekts, Kraftfahrzeug, Computerprogramm und elektronisch lesbarer Datenträger

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100305857A1 (en) * 2009-05-08 2010-12-02 Jeffrey Byrne Method and System for Visual Collision Detection and Estimation
KR101740259B1 (ko) * 2011-10-07 2017-05-29 한국전자통신연구원 3차원 포인트 클라우드의 공간 분할 방법
JP2015195569A (ja) * 2014-03-25 2015-11-05 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 移動体用撮影装置
TWI595450B (zh) * 2014-04-01 2017-08-11 能晶科技股份有限公司 物件偵測系統
US11004000B1 (en) * 2017-01-30 2021-05-11 Waymo Llc Predicting trajectory intersection by another road user
US11214143B2 (en) * 2017-05-02 2022-01-04 Motional Ad Llc Visually obstructed object detection for automated vehicle using V2V/V2I communications
US10872531B2 (en) * 2017-09-29 2020-12-22 Uber Technologies, Inc. Image processing for vehicle collision avoidance system
US20200130685A1 (en) * 2018-10-30 2020-04-30 Denso International America, Inc. Apparatus and method for identifying sensor occlusion in autonomous vehicles
US10930057B2 (en) * 2019-03-29 2021-02-23 Airbnb, Inc. Generating two-dimensional plan from three-dimensional image data
DE102020206659A1 (de) * 2019-05-30 2020-12-03 Robert Bosch Gesellschaft mit beschränkter Haftung Multi-hypothesen-objektverfologung für automatisierte fahrsysteme

Also Published As

Publication number Publication date
US20210403050A1 (en) 2021-12-30
US20240182081A1 (en) 2024-06-06
US11912310B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
CN113844443A (zh) 自主驾驶碰撞预防
US11993290B2 (en) Predicting and responding to cut in vehicles and altruistic responses
US20210291827A1 (en) Recognition and prediction of lane constraints and construction areas in navigation
KR102646644B1 (ko) 감지 불확실성이 있는 항법을 위한 시스템 및 방법
US11200433B2 (en) Detection and classification systems and methods for autonomous vehicle navigation
EP3611472B1 (en) Controlling host vehicle based on detected parked vehicle characteristics
CN110103967B (zh) 一种车辆自动变道方法及车辆控制系统、车辆
KR102588008B1 (ko) 진입하거나 진출하는 차량을 검출하기 위한 방법 및 제어 유닛
CN110816548A (zh) 传感器融合
KR20190080885A (ko) 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법
KR20190062390A (ko) 검출된 배리어에 기반한 차량의 항법
CN114258366A (zh) 对于自主车辆的折线轮廓表示
JP6547785B2 (ja) 物標検出装置
WO2021116752A1 (en) Systems and methods for selectively decelerating a vehicle
JP7291015B2 (ja) 周囲物体認識方法及び周囲物体認識装置
KR102355426B1 (ko) 주행 경로 상의 장애물 탐색 및 회피를 위한 방법 및 장치
CN111886167A (zh) 通过碰撞风险图执行自动驾驶车辆控制
CN113911121A (zh) 用于通过控制设备来匹配交通工具的行驶行为的方法和控制设备
EP4249342B1 (en) Control subsystem and method to define the response of an autonomous vehicle to an unknown object
JP2020108979A (ja) 監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination