Nothing Special   »   [go: up one dir, main page]

CN108230731B - 停车场导航系统和方法 - Google Patents

停车场导航系统和方法 Download PDF

Info

Publication number
CN108230731B
CN108230731B CN201711265850.4A CN201711265850A CN108230731B CN 108230731 B CN108230731 B CN 108230731B CN 201711265850 A CN201711265850 A CN 201711265850A CN 108230731 B CN108230731 B CN 108230731B
Authority
CN
China
Prior art keywords
approach
vehicle
autonomous vehicle
degrees
departure angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711265850.4A
Other languages
English (en)
Other versions
CN108230731A (zh
Inventor
马里亚姆·穆萨埃
吉内什·J·杰恩
哈珀丽特辛格·班瓦伊特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN108230731A publication Critical patent/CN108230731A/zh
Application granted granted Critical
Publication of CN108230731B publication Critical patent/CN108230731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/142—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces external to the vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/146—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种用于辅助或自主停放车辆的系统和方法。该方法可以在车辆接近停车场内的引道时开始。此时，计算机系统可以决定车辆是否应该进入引道。计算机系统可以使用机器学习、计算机视觉和距离测量中的至少一个来确定是否存在进入引道的先决条件。先决条件可以包括在引道上的入界箭头和/或与引道相邻的限定小于或等于90度的离去角的停车线或停放车辆。如果先决条件存在，则车辆可以进入引道。如果先决条件不存在，则车辆可以移动到另一条引道。

Description

停车场导航系统和方法
技术领域
本发明涉及车辆系统，并且更具体地涉及用于确定车辆是否应当进入停车场内的当前呈现的引道(feeder lane)的系统和方法。
背景技术
停车是车辆使用中不可避免的组成部分。停车通常涉及在停车场找到可用的空间。因此，需要安全地辅助车辆在停车场导航的计算机化系统。
发明内容
根据本发明，提供一种方法，该方法包含：
由自主车辆接近停车场内的车道；
由自主车辆使用机器学习和计算机视觉中的至少一个来识别下面中的至少一个：
在车道上的入界箭头，和
与车道相邻的限定小于或等于90度的离去角的停车线或停放车辆；和
由自主车辆响应于识别而前进到车道中。
根据本发明的一个实施例，方法进一步包含使用自主车辆上的一个或多个传感器来收集表征车道的至少一部分的数据。
根据本发明的一个实施例，识别包含由在自主车辆上携带的计算机系统来将机器学习和计算机视觉中的至少一个应用于数据。
根据本发明的一个实施例，一个或多个传感器包含摄像机。
根据本发明的一个实施例，数据包含由摄像机输出的至少一个图像帧。
根据本发明的一个实施例，识别进一步包含由计算机系统使用计算机视觉来选择包含少于至少一个图像帧的全部的至少一个感兴趣区域。
根据本发明的一个实施例，识别进一步包含由计算机系统通过从至少一个图像帧剪切至少一个感兴趣区域来生成至少一个图像帧的至少一个剪切子集。
根据本发明的一个实施例，识别进一步包含由计算机系统使用人工神经网络来对至少一个剪切子集进行分类。
根据本发明的一个实施例，识别进一步包含由计算机系统使用人工神经网络来确定至少一个剪切子集与多个类别中的每个类别之间的亲和性分数；和
多个类别包括
无箭头类别，
仅入界箭头类别，
仅出界箭头类别，和
入界和出界箭头类别。
根据本发明的一个实施例，识别进一步包含由计算机系统使用人工神经网络来确定至少一个剪切子集与多个类别中的每个类别之间的亲和性分数；和
多个类别包括
无停车线类别，
离去角小于或等于90度的停车线类别，和
离去角大于90度的停车线类别。
根据本发明的一个实施例，识别进一步包含由计算机系统使用人工神经网络来确定至少一个剪切子集与多个类别中的每个类别之间的亲和性分数；和
多个类别包括
无停放车辆类别，
离去角小于或等于90度的停放车辆类别，和
离去角大于90度的停放车辆类别。
根据本发明，提供一种方法，该方法包含：
由自主车辆接近停车场内的第一引道；
由在自主车辆上的一个或多个传感器收集表征第一引道的至少一部分的第一数据；
由自主车辆上携带的计算机系统确认用于前进到第一引道的先决条件的存在；
确认包含通过将机器学习算法应用于第一数据、将计算机视觉技术应用于第一数据以及从第一数据提取第一距离测量结果中的至少一者来检测先决条件；
确认其中用于前进到第一引道的先决条件包含下面中的至少一个：
第一引道上的入界箭头，
与第一引道相邻的限定小于或等于90度的离去角的停车线，和与第一引道相邻的限定小于或等于90度的离去角的至少一个停
放车辆；和
由自主车辆响应于确认来前进到第一引道中。
根据本发明的一个实施例，方法进一步包含由自主车辆接近停车场内的第二引道。
根据本发明的一个实施例，方法进一步包含由一个或多个传感器收集表征第二引道的至少一部分的第二数据。
根据本发明的一个实施例，方法进一步包含由在自主车辆上携带的计算机系统确认用于前进到第二引道的先决条件的不存在。
根据本发明的一个实施例，确认不存在包含将机器学习算法应用于第二数据、将计算机视觉技术应用于第二数据和从第二数据提取第二距离测量结果中的至少一个。
根据本发明的一个实施例，用于前进到第二引道的先决条件包含下面中的至少一个：
第二引道上的入界箭头；
与第二引道相邻的限定小于或等于90度的离去角的停车线；和
与第二引道相邻的限定小于或等于90度的离去角的至少一个停放车辆。
根据本发明的一个实施例，方法进一步包含由自主车辆响应于确认不存在来避开第二引道。
根据本发明的一个实施例，一个或多个传感器包含摄像机；
数据包含由摄像机输出的至少一个图像帧；
识别进一步包含由计算机系统使用计算机视觉来选择包含少于至少一个图像帧的全部的至少一个感兴趣区域；
识别进一步包含由计算机系统通过从至少一个图像帧剪切至少一个感兴趣区域来生成至少一个图像帧的至少一个剪切子集；和
识别进一步包含由计算机系统使用人工神经网络来对至少一个剪切子集进行分类。
根据本发明，提供一种自主车辆，该自主车辆包含：
在自主车辆上携带的一个或多个传感器；
在自主车辆上携带的至少一个处理器；和
可操作地连接到至少一个处理器的存储器，存储器存储被编程为执行下面的操作的软件，
将自主车辆引导到停车场内的第一引道，
收集由一个或多个传感器输出的表征第一引道的至少一部分的数据，
使用机器学习、计算机视觉和距离测量中的至少一个来确定用于进入第一引道的先决条件是否被反映在数据中，其中先决条件包含存在下面中的至少一个：
第一引道上的入界箭头，
与第一引道相邻的限定小于或等于90度的离去角的停车线，
与第一引道相邻的限定小于或等于90度的离去角的至少一个停放车辆，
当先决条件存在时，将自主车辆引导到进入第一引道，和
当先决条件不存在时，将自主车辆引导到第二引道。
附图说明
为了容易理解本发明的优点，通过参考附图中示出的具体实施例，将给出上面简要描述的本发明的更具体的描述。应当理解的是，这些附图仅描绘了本发明的典型实施例，并且因此不被认为是对本发明范围的限制，本发明将通过使用附图以附加的特征和细节来描述和解释，附图中：
图1是示出停车场的一部分的俯视图的示意图，其中停车位相对于引道正交并且车辆在右侧行驶；
图2是示出停车场的一部分的俯视图的示意图，其中停车位相对于引道不正交并且车辆在右侧行驶；
图3是示出停车场的一部分的俯视图的示意图，其中停车位相对于引道不正交并且车辆在左侧行驶；
图4是示出根据本发明的在车辆上携带一种用于辅助车辆在停车场内导航的系统的车辆的一个实施例的示意图；
图5是示出可以由在车辆上携带的前视摄像机捕获的示例性图像的示意图；
图6是示出根据本发明的一种辅助车辆在停车场内导航的系统的一个实施例的示意性框图；
图7是根据本发明的一种辅助车辆在停车场内导航的方法的一个实施例的示意性框图；
图8是示出以第一示例性情况或结构布置的停车场的一部分的俯视图的示意图；
图9是示出以第二示例性情况或结构布置的停车场的一部分的俯视图的示意图；
图10是示出以第三示例性情况或结构布置的停车场的一部分的俯视图的示意图；
图11是示出以第四示例性情况或结构布置的停车场的一部分的俯视图的示意图；和
图12是示出以第五示例性情况或结构布置的停车场的一部分的俯视图的示意图。
具体实施方式
将容易理解的是，如本文附图中总体描述和示出的，本发明的部件可以以各种不同的结构来布置和设计。因此，如在附图中表示的本发明的实施例的以下更详细的描述并不旨在限制如要求保护的本发明的范围，而仅仅是表示根据本发明的当前设想的实施例的某些示例。通过参考附图将最好地理解当前描述的实施例，其中相同的部分始终由相同的附图标记表示。
参照图1，停车位10可以是适合于停放车辆12的地理区域。停车场14可以是包含多个停车位10的地理区域。在所选实施例中，停车场14的多个停车位10可以按照一定的顺序布置。例如，在停车场14内，线16(例如涂漆或以其他方式粘附到停车场14的表面的线16)可以划定或限定一个或多个停车位10的边界。这样的线16可以包括侧线16a、停止线16b等或者它们的组合。在所选实施例中，停放在停车位10内的车辆12可以位于两条相邻的侧线16a之间，并且具有接近但不延伸超出停止线16b的末端(例如前保险杠或后保险杠)。
在某些实施例中，停车场14的停车位10可以布置成一排或多排18。此外，停车场14可以包括一个或多个引道20。引道20可以是从其可以直接进入停车位10的车道。典型地，停车场14内的每个引道20可以延伸到与停车位10的至少一排18相邻并且通常经过(track)该至少一排18。因此，沿着引道20行进的车辆12能够直接进入(例如直接转向进入)与引道20相邻的排18的停车位10。
在所选实施例中，车辆12可以离开街道并进入停车场14，以努力找到未被占用并且适合停车的停车位10。这种进入可以包含进入停车场的引道20。之后，车辆12可以在引道20上依次行驶，直到找到空闲停车位10，或者停止搜索停车场14中的空闲停车位10。或者，这种进入可以包含进入停车场14的通道12。
通道(thoroughfare)12可以是停车场14内的没有停车位10可以从其直接进入的车道。停车场14内的通道12可以简单地是允许一个或多个车辆12到达一个或更多个引道20的车道。因此，当车辆12进入停车场14时，车辆12可以首先在通道12上行驶以到达引道20。车辆12然后可以在引道20上行驶以到达未被占用的停车位10。因此，车辆12可以在一个或多个通道12、一个或多个引道20或者它们的组合上行驶，直到找到空闲停车位10或者放弃在停车场14中寻找空闲停车位10。
在某些实施例中，一个或多个箭头24可以被施加到一个或多个引道20。例如，一个或多个箭头24可以被绘在或者以其他方式粘附到停车场14的形成引道的表面引道。这样的箭头24可以提供哪个行驶方向或者哪些行驶方向适合于引道20的指示。也就是说，车辆12在引道20上在由这样的箭头24指示的一个或多个方向上引道行驶将是合适的。
箭头24可以定位在一个或多个引道20的末端附近。因此，这样的箭头24可以指示对应的末端是进入引道20的入口、离开引道20的出口、还是引道20的入口和出口二者。例如，入界箭头24a(例如，位于引道20的末端附近并且指向进入引道20的箭头)可以是末端用作引道20的入口的指示符。出界箭头24b(例如，位于引道20的末端附近并且指向离开引道20的箭头)可以是该末端用作引道20的出口的指示符。当入界和出界箭头24都位于引道20的末端附近时，其可以是该末端用作入口和出口两者的指示符。
在所选实施例中，停车位10的排18和相邻引道20可以组合以限定离去角(angleof departure)26。离去角26可以是车辆12在第一方向28上沿着引道20行驶以在第二方向30上适当地进入一个或多个停车位10所必需的方向改变的量度。
例如，在所示实施例中，引道20在一侧与停车位10的第一排18a相邻，并且在另一侧与停车位10的第二排18b相邻。引道20和相邻的排18a、18b是直的。此外，排18a、18b两者内的停车位10与引道20正交(例如，已经停放在两排18a、18b中的车辆12与沿着引道20行进的车辆12a正交)。因此，在所示实施例中，对于给定的行驶方向28，左右两侧的离去角26约为90度。
参照图2和图3，在其它实施例中，在其他停车场14中，或者对于不同的(例如，相反的)行驶方向28，离去角26可以是除了90度以外的度数。例如，在所示实施例中，引道20在一侧与第一排18a的停车位10相邻，并且在另一侧与第二排18b的停车位10相邻。引道20和相邻的排18a、18b是直的。然而，两排18a、18b内的停车位10不与引道20正交(例如，已经停放在两排18a、18b中的车辆12不与正在沿着引道20行驶的车辆12a正交)。因此，在所示实施例中，对于给定的行驶方向28，右侧(例如，进入第一排18a中的停车位10)的离去角26a小于90度。左侧(例如，进入第二排18b中的停车位10)的离去角26b大于90度。
在所选实施例中，当在停车场14内停车时，对应于90度或更小的离去角26的转弯可能相对容易进行。相反，对应于超过90度的离去角26的转弯可能相对困难。因此，可以认为适合停放在对应于小于或等于90度的离去角26的停车位10中，并且不适合停放在对应于大于90度的离去角26的停车位10中。
在某些实施例中，如果一个或多个停车位10相对于相应的引道20成角度(例如，以零度或90度以外的角度取向)，则离去角26可以在至少传统上驾驶车辆10的一侧上小于或等于90度。例如，图2所示的停车场14a可以位于传统上在道路右侧行驶的国家。因此，在该停车场14a中，如果一个或多个停车位10相对于相应的引道20成角度，则至少在右侧的停车位10的离去角26可以小于或等于90度。相反，图3所示的停车场14b可以位于传统上在道路左侧行驶的国家。因此，在该停车场14b中，如果一个或多个停车位10相对于相应的引道20成角度，则至少在左侧的停车位10的离去角26可以小于或等于90度。
如果两个离去角26a、26b(例如，右侧和左侧的离去角)都大于90度，则可以指示出，引道20是单向车道，并且相应的车辆12(例如，用于车辆12的两个离去角26a、26b都是或者将大于90度)正在或者将在错误的方向上沿着引道20向下行驶。如果两个离去角26a、26b小于90度，则可以指示出，引道20是单向车道，并且相应的车辆12正在或者将在正确的方向上沿着引道20行驶。
参照图4和图5，停车场14及其各种部件和/或结构必须被适当地解释为车辆12被安全停放。这一现实为驾驶员和自主驾驶系统带来了重大挑战。例如，如果驾驶员分心，则他或她可能不能正确地检测和/或响应箭头24，并且可能沿着引道20的错误方向驾驶他的或她的车辆12。类似地，由于停车是非常常见的操作，自动驾驶系统可能需要将相应的车辆12停放在各种机构的停车场14中。
为了克服这些挑战，根据本发明的车辆12可以在其上携带负责检测、测量和/或分类一个或多个停车场14的各种部件和/或结构的系统32。根据本发明的系统32可以使用一个或多个车载传感器34的输出作为用于这种检测、测量和/或分类的基础。包括在车辆12内的传感器34可以采取任何合适的形式。例如，一个或多个传感器34可以包含摄像机、激光雷达设备、雷达设备、超声波传感器等或者它们的组合或子组合。
在所选实施例中，根据本发明的系统32可以控制车辆12的一个或多个功能。例如，系统32可以控制车辆12的一个或多个警告系统的操作。因此，如果来自一个或多个传感器34的数据指示车辆12正在或者正在试图沿着引道20错误方向行驶，则系统32可以指示一个或多个警告系统来发出一个或多个警告(例如，闪烁灯光、发出警报、振动方向盘等)。替代地或附加地，系统32可以控制车辆12的一个或多个核心系统的操作。因此，如果来自一个或多个传感器34的数据指示车辆12正在从错误的方向接近单向引道20，则系统32可以指示车辆12避开引道20，移动到另一引道20等或者它们的组合。
在某些实施例中，根据本发明的一个或多个传感器34可以是前向或前视传感器34a(例如，指向车辆12前方区域的传感器)、视角传感器34b(例如，通过挡风玻璃捕捉驾驶员视角的传感器)、侧视传感器、后视传感器等或者它们的组合或子组合。
由一个或多个传感器34捕获的传感器数据(例如，视频)可以由系统32作为单独的图像36或帧36处理。例如，计算机视觉分析和/或深度学习可以由系统32应用到由一个或多个传感器34捕获的一个或多个图像36的全部或所选择的部分。系统32当它确定其中表示哪个停放结构时(例如，当它确定是否适合进入特定的引道20时)可以考虑这样的图像36和/或这样的图像36的所选择的部分引道。相应地，系统32可以根据计算机视觉分析、由人工神经网络进行的分类等或者它们的组合来控制车辆12的一个或多个功能。
在某些实施例中，由系统32做出的决定可以随着捕获作出决定所基于的传感器数据来实时发生。例如，人工神经网络可以在通过一个或多个传感器34捕获特定传感器数据之后的非常短的时间段内来量化特定传感器数据(例如，图像数据)与一个或多个类别的对应关系。在所选实施例中，该非常短的时间段可能是约一秒或更少。
参照图6，根据本发明的系统32可以使用计算机视觉、三维映射、深度学习或者它们的组合来生成或收集表征一个或多个停车结构的信息。系统32可以以任何合适的方式来完成这些。例如，系统32可以实现为硬件、软件或者它们的一些组合。
在所选实施例中，系统32可以包括计算机硬件和计算机软件。系统32的计算机硬件可以包括一个或多个处理器38、存储器40、一个或多个用户界面42、其他硬件44等或者它们的组合或子组合。在某些实施例中，该计算机硬件的全部或一些子集可以是作为车辆12的一部分已经被包括的硬件。也就是说，计算机硬件的全部或者一部分可以是多用途的并且执行已经与车辆12的操作相关联的任务。或者，根据本发明的系统32可以被专用于检测、分类和/或响应各种停车结构。
根据本发明的系统32的存储器40可以可操作地连接到一个或多个处理器38并存储计算机软件。这可以使得一个或多个处理器38能够执行计算机软件。因此，系统32可以通过添加和/或修改软件、将附加硬件添加到车辆12或者它们的组合来增强车辆12的功能或特征。
系统32的用户界面42可以使得工程师、技术人员、驾驶员等能够与系统32的各个方面进行交互、管理、定制或控制系统32的各个方面。系统32的用户界面42可以包括一个或多个按钮、小键盘、键盘、触摸屏、点击设备等或者它们的组合或子组合。可选地或附加地，用户界面42可以包含一个或多个通信端口(例如，插入端口、无线通信端口等)，一个或多个外部计算机或设备可以通过这些通信端口与系统32或者其一个或多个部件进行通信。
在所选实施例中，系统32的存储器40可以(至少暂时地)存储传感器数据46(例如由在车辆12上携带的一个或多个传感器34输出的一个或多个信号段)、由在车辆12上携带的一个或多个传感器34收集或捕获的视频48(例如，一个或多个视频文件48)、包含、定义或对应于由一个或多个传感器34捕获的或者从由一个或多个传感器34收集或捕获的视频中提取的一个或多个图像的一个或多个图像文件50等或者它们的组合或子组合。
另外，存储器40可以存储一个或多个软件模块。例如，存储器40可以存储通信模块52、图像提取模块54、计算机视觉模块56、映射模块58、神经网络模块60、融合模块62、控制模块64、其他数据或软件66等，或者它们的组合或子组合。或者，通信模块52、图像提取模块54、计算机视觉模块56、映射模块58、神经网络模块60、融合模块62和控制模块64中的一个或多个可以被实现为硬件或者包含硬件部件。因此，尽管图6将通信模块52、图像提取模块54、计算机视觉模块56、映射模块58、神经网络模块60、融合模块62和控制模块64显示为仅存储在存储器40中的软件模块，但实际上，这些模块52、54、56、58、60、62、64中的一个或多个可以包含硬件、软件或者它们的组合。
根据本发明，通信模块52可以使得诸如一段或更多段传感器数据46、视频文件48、图像文件50、软件部件(例如，一个或多个模块52、54、56、58、60、62、64或者对它们的更新)、表征停车场14的信息、分类(例如，由系统32的人工神经网络输出的分类信息)等或者它们的组合或子组合的数据被传入或传出系统32。例如，形成在车辆12上携带的系统32的一部分的通信模块52可以使得系统32能够接收对其计算机视觉模块56、映射模块58、神经网络模块60等的更新。因此，根据需要或期望，可以将在车辆12外开发的改进引入到车辆上。
替代地或附加地，通信模块52可以使得与系统32相关联的某些处理能够在相应的车辆12外(例如，在云端)执行。例如，通信模块52可以将诸如一个或多个段的传感器数据46、视频文件48或图像文件50的数据传递给远程计算机系统(例如，车辆12外的计算机系统)。该远程计算机系统可以包括或执行与计算机视觉模块56、映射模块58、神经网络模块60、融合模块62等相关联的某些功能。因此，根据本发明的与系统32相关联的工作可以根据需要或期望在车载部件和车辆外的部件之间分配。
图像提取模块54可以从由一个或多个传感器34捕获的视频中提取一个或多个图像36。例如，图像提取模块34可以从存储在存储器40中的视频文件48、由传感器34输出的视频等中提取一个或多个图像36。在所选实施例中，图像提取模块54可以将由此提取的一个或多个图像36存储为存储器40中的图像文件50。
计算机视觉模块56可以采用计算机视觉技术来从由一个或多个传感器34捕获的一个或多个图像36中提取表征停车场14的信息。例如，计算机视觉模块56可以在一个或多个图像36内检测一个或多个停放车辆12、限定一个或多个停车位10的线16等的存在。此外，计算机视觉模块56可以确定一个或多个停放车辆12、限定一个或多个停车位10的线16等相对于车辆12(例如，利用计算机视觉模块56的车辆12)、引道20、通道12等的取向。基于计算机视觉模块56的工作，系统32可以检测引道20、确定是否适合进入引道20、检测空闲停车位10、将车辆12转向到空闲停车位10等或者它们的组合或子组合。
在所选实施例中，计算机视觉模块56可以确定一个或多个图像36的哪些部分应由神经网络模块60处理。例如，计算机视觉模块56可以识别和剪切图像36的更有可能包含箭头24的一个或多个部分。这些部分然后可以被传送到神经网络模块60以被分类。
映射模块58可以使用距离测量结果来生成接近相应的车辆12的区域的三维地图。例如，在所选实施例中，映射模块58可以使用对应于一个或多个激光雷达、雷达、超声波装置34的距离测量结果来确定一个或多个停放车辆12相对于彼此、相对于利用映射模块58的车辆12等的取向。基于映射模块58的工作，系统32可以检测引道20、确定是否适合进入引道20、检测空闲停车位10、将车辆12转向到空闲停车位10等或者它们的组合或子组合。
神经网络模块60可以是包括或者支持被编程为执行或应用深度学习的人工神经网络。根据本发明，由人工神经网络执行或应用的深度学习可以使用一个或多个算法来对与由连接到系统32的一个或多个传感器34收集的一个或多个图像36的一个或多个部分相对应的数据中的高级抽象建模。在所选实施例中，这可以通过使用包括多个非线性变换的多个处理层来完成。
例如，对应于神经网络模块60的人工神经网络可以包含具有输入节点、隐藏层和输出节点的前馈计算图。对于涉及图像的分类，可以将形成分类的一部分的输入图像的像素值分配给输入节点，然后通过网络馈送以通过若干非线性变换。在计算结束时，输出节点可能产生一个对应于由神经网络推断的类别的值。
为了使对应于神经网络模块60的人工神经网络能够区分不同的类别，需要基于实例对其进行训练。因此，为了创建能够对多个不同的停车场结构进行分类的人工神经网络，必须使用具有已知(例如，标记的)特征的示例图像的大量集合(例如，每种类型的数百到数千个)作为训练数据。因此，使用反向传播，可以训练人工神经网络。
对应于神经网络模块60的人工神经网络可以在非生产系统32的硬件内或其上操作时被训练。例如，人工神经网络可以在计算机实验室中的非车载系统32、在专门用于训练目的的在测试车辆12上携带的非生产系统32等上训练。一旦训练好，人工神经网络可以被“克隆”或者以其他方式复制到或导入到形成生产车辆12的一部分的生产系统32内。
当训练时，对应于神经网络模块60的人工神经网络可以接收一个或多个输入(例如，由一个或多个传感器34捕获的一个或多个图像36、由一个或多个传感器34捕获的一个或多个图像36的剪切部分等)，并且将这些输入分类为具有针对训练的人工神经网络的每个类别的特定数值亲和性(affinity)(例如百分比“分数”)。相应地，如果人工神经网络在十个不同类别上被训练，则对于一个或多个输入，人工神经网络可以输出十个数值分数。每个这样的分数可以指示一个或多个输入(或由一个或多个输入反映的物理现实)与不同类别的亲和性。
在决定性的或明确的分类中，一个或多个输入可以显示对一个类别的强亲和性和对所有其他类别的弱亲和性。在一个非决定性的或不明确的分类中，一个或多个输入可能不显示对任何特定类别的优先亲和性。例如，某个类别可能会有一个“最高”的分数，但是这个分数可能接近其他类别的其他分数。
因此，在所选实施例中，神经网络模块60可以应用一个或多个阈值比较或测试来确定是否有任何特定的分类是足够决定性的或明确的以便被起作用或依靠(例如，分类是否是足够决定性的或明确的，以便改变车辆的功能12)。例如，神经网络模块60可以测试分类以查看最高分数与所有其他分数之间的分离是否满足或符合某个分离阈值。
根据本发明的人工神经网络可以被训练成识别(例如，产生亲和性分数)某个预定的一组类别。这样的组中的类别的数量可以在各个实施例之间变化。在某些实施例中，类别的数量可以是大于相应的车辆12容易遇到的停车场结构的类型的数量。例如，如果人工神经网络仅关注箭头24并且相应的车辆12仅可能遇到四种类型的箭头24(例如，从左到右的箭头24、从右到左的箭头、从前到后的箭头24以及从后到前的箭头)，则类别的数量可以是五个并且包括非箭头类别、从左到右箭头类别、从右到左箭头类别、从前到后箭头类别和从后到前箭头类别。
替代地，可以训练人工神经网络以识别不仅仅是箭头24或者除了箭头24之外的停车结构(例如停放车辆12的位置和/或取向、线16的位置和/或取向或者它们的组合)。例如，在所选实施例中，根据本发明的人工神经网络可以被训练以识别各种结构的引道20，包括：从通道12右侧延伸的引道20；从通道12左侧延伸的引道20；在相应的车辆12的行驶方向上延伸的引道20；其中两个离去角26a、26b小于或等于90度的引道20；其中至少一个离去角26小于或等于90度的引道20；其中两个离去角26a、26b都大于90度的引道20；具有仅一个大于90度的离去角26的引道20；其中离去角26a、26b中的一个小于或等于90度并且离去角26b、26a中的另一个大于90度的引道20；具有一个或多个上述结构或者各种结构的引道20；或类似车道或者它们的组合或子组合。
融合模块62可以使得系统32能够执行传感器融合。例如，融合模块62可以使得车辆检测(例如，使用一个或多个激光雷达设备、雷达设备、超声波设备等或者它们的组合或子组合来检测一个或多个停放车辆12的位置和/或取向)、线检测(例如，使用一个或多个摄像机来检测一个或多个线16的位置和/或取向)、和/或箭头检测(例如，使用一个或多个摄像机来检测一个或多个箭头24的位置和/或取向)之间的传感器融合。这种传感器融合可以使得由此产生的停车场14的特征能够具有较小的不确定性。
控制模块64可以被编程为解释所选择的传感器数据46、由计算机视觉模块56、映射模块58和/或神经网络模块60等输出的信息等，或者它们的组合或子组合。在某些实施例中，这可以包括对冲突信息进行加权并且确定应当依赖哪个信息(例如，更重地加权)。例如，如果大量停放车辆12的取向与关于一个或多个线16的取向的信息冲突，则控制模块64可以选择将更多的权重放在(例如，依赖于)停放车辆12的取向上。类似地，控制模块64可以选择将更多的权重放置在更多的线16上而非更少的线16上、放置在更多的停放车辆12而非更少的停放车辆12上等。
在所选实施例中，控制模块64可以基于所选择的传感器数据46、由计算机视觉模块56、映射模块58和/或神经网络模块60输出的信息等或者它们的组合或子组合，来请求、启动或实现一个或多个动作或功能。例如，当控制模块64根据数据46、其他信息输出等确定车辆12正在接近引道20的入口时，控制模块64可以请求或初始化相应的车辆12转入该引道20的过程。相反，当控制模块64根据数据46、其他信息输出等确定车辆12正在接近引道20的出口时，控制模块62可以请求或初始化相应的车辆12避开该引道20并继续搜索另一个的过程。
在某些实施例中，控制模块64可以将与车辆12停放的停车位10相对应的某些特征(例如，取向、离去角26、适当的行驶方向28等或者它们的组合或子组合)保持在存储器40中。这可以使得控制模块64能够使用在进入特定的引道20和/或特定的停车位10时收集到的信息，以协助正确地退出特定的停车位10和/或特定的引道20。
参照图7，在所选实施例中，根据本发明的过程68可以基于执行过程68的国家的惯例而有所不同。例如，如果车辆12在传统上在道路右侧行驶的国家中操作，则车辆12可以在右侧进入引道20。相反，如果车辆12在传统上在道路左侧行驶的国家中操作，则车辆12可以在其左侧进入引道20。因此，尽管过程68在下文中以在道路右侧行驶的车辆12为例进行说明和讨论，但是其可简单地通过用“左”替换“右”以及用“右”替换“左”来适于相反的情形。
在某些实施例中，过程68可以在车辆12接近70引道20时开始。然后可以做出是否已经检测到与引道20相对应的入界箭头24a的确定72。如果检测到入界箭头24a，则表明车辆12已经接近引道20的入口。因此，车辆12可以在其右侧进入74引道20，并且估计76与引道20的右侧的一个或多个停放车辆12和/或一个或多个线16相对应的离去角26。
相反，如果没有检测到72入界箭头24a，则可以做出是否已经检测到与引道20相对应的出界箭头24a的确定78。如果检测到78出界箭头24b(即，没有入界箭头24a，但是存在出界箭头24b)，则表示车辆12已经接近引道20的出口。因此，车辆12可以避开该引道20并且继续80寻找另一个车道。
如果没有检测78到出界箭头24b(即，无入界箭头24a并且无出界箭头24b)，则车辆12可能需要考虑其他信息源以了解其是否应该进入引道20。因此，车辆12可以(例如，从引道20外部的位置)估计76与引道20的右侧的一个或多个停放车辆12和/或一个或多个线16相对应的离去角26。
如果发现82与引道20的右侧的一个或多个停放车辆12和/或一个或多个线16相对应的离去角26小于或者等于90度，则可以指示在那边停车是适当的。相应地，车辆12可以在其右侧进入84引道20，并且在右侧寻找86空闲停车位10。或者，如果车辆12较早地进入74引道20，则可以简单地在右侧寻找86空闲停车位10。另外，车辆12可以采取步骤来确定是否适合在左侧寻找停车位10。在任何情况下，如果车辆在其正在寻找86的一侧上找到88空闲停车位10，则可以在该停车位中停放90。如果没有找到88空闲停车位10，则车辆12可以继续80寻找另一个引道20、放弃寻找停车位10等。
如果发现82与引道20的右侧上的一个或多个停放车辆12和/或一个或多个线16相对应的离去角26大于90度，则可以指示在那边停车是不合适的。因此，车辆12可以(例如，根据车辆12是否早先进入74引道20，从引道20之外或之内的位置)估计92与引道20的左侧的一个或多个停放车辆12和/或一个或多个线16相对应的离去角26。
如果发现94与引道20的左侧的一个或多个停放车辆12和/或一个或多个线16相对应的离去角26小于或等于90度，则可以指示在那侧停车是适当的。相应地，车辆12可以在其右侧进入96引道20，并且在左侧寻找98空闲停车位10。或者，如果车辆12较早地进入74、84引道20，则可以简单地在左侧寻找98空闲停车位10。如果车辆在其正在寻找86的一侧找到88空闲停车位10，则可以在该停车位停放90。
相反，如果发现94与引道20的左侧上的一个或多个停放车辆12和/或一个或多个线16相对应的离去角26大于90度(即，右侧的离去角26a和左侧的离去角26b都大于90度)，则可以指示车辆12已经接近单向引道20的出口。因此，车辆12可以避开该引道20并且继续80寻找另一个车道。
在所选实施例中，根据本发明的检测72、78、估计76、92和寻找86、98可以使用计算机视觉技术、三维映射、通过人工神经网络的分类等或者它们的组合或子组合来实现。
图7中的流程图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。就这一点而言，流程图中的每个框可以表示包含用于实现指定的逻辑功能的一个或多个可执行指令的模块、代码段或代码部分。还将注意的是，流程图示出的每个框以及流程图示出的框的组合可以由执行指定的功能或动作的基于专用硬件的系统、或者专用硬件和计算机指令的组合来实现。
还应该注意的是，在一些替代实施方式中，框中提到的功能可以不按照附图中指出的顺序发生。在某些实施例中，连续示出的两个框实际上可以大体上同时执行，或者框有时可以以相反的顺序执行，这取决于所涉及的功能。例如，在所示实施例中，用于确定是否适合停放在右侧的过程在用于确定是否适合停放在左侧的过程之前。在某些实施例中，这两个过程可以大体上同时发生或者以相反的顺序发生。
替代地或附加地，如果不需要，可以省略某些步骤或功能。例如，在所示实施例中，用于检测箭头24的过程在用于分析停放车辆12和/或线16的取向的过程之前。在某些实施例中，用于检测箭头24的过程可以被省略，并且确定是否进入引道20可以仅基于停放车辆12和/或与其对应的线16的取向。
参照图8，示出了第一示例性情况，其中车辆12已经接近70在车辆12的行驶方向上延伸的引道20。引道20通过右侧和左侧与引道20正交(例如，具有约90度的离去角26)的停车位10的相应排18a、18b界定。引道20在其一端包括入界箭头24a和出界箭头24b。
因此，当车辆12(例如车辆12内的系统32)将根据本发明的过程68应用于第一示例性情形时，车辆12可以检测72入界箭头24a并且在右侧进入74引道20。车辆12可以进一步估计76、92右侧和左侧的离去角26，并且发现82、94它们都小于或等于90度。因此，车辆12可以在左侧和右侧寻找86、98空闲停车位10。
参照图9，示出了第二示例性情况，其中车辆12位于通道12上并且已经接近70从通道12的右侧延伸的引道20。引道20通过右侧和左侧与引道20正交(例如，具有约90度的离去角26)的停车位10的相应排18a、18b界定。引道20不包括任何入界箭头24a或出界箭头24b。
因此，当车辆12(例如车辆12内的系统32)将根据本发明的过程68应用于第二示例性情形时，车辆12可以检测到72没有箭头。因此，在进入引道20之前，车辆12可以估计76、92右侧和左侧的离去角26，并且发现82、94它们都小于或等于90度。因此，车辆12可以进入84引道20，并且在左侧和右侧寻找86、98空闲停车位10。
参照图10，示出了第三示例性情形，其中车辆12已经接近70在车辆12的行驶方向延伸的引道20。引道20通过右侧和左侧的停车位10的相应排18a、18b界定。右侧的排18a对应于小于90度的离去角26a。左侧的排18b对应于大于90度的离去角26b。引道20在其一端包括入界箭头24a和出界箭头24b。
因此，当车辆12(例如车辆12内的系统32)将根据本发明的过程68应用于第三示例性情况时，车辆12可以检测72入界箭头24a并且在右侧进入74引道20。车辆12可以进一步估计76、92左侧和右侧的离去角26，并且发现82、94前者小于90度以及后者大于90度。因此，车辆12可以只在右侧寻找86、98空闲停车位10。
参照图11，示出了第四示例性情况，其中车辆12已经接近70在车辆12的行驶方向上延伸的引道20。引道20通过右侧和左侧的都具有小于90度的离去角26的停车位10的相应的排18a、18b界定。引道20仅在其一端包括入界箭头24a。
因此，当车辆12(例如车辆12内的系统32)将根据本发明的过程68应用于第四示例性情况时，车辆12可以检测72入界箭头24a并且在右侧进入74引道20。车辆12可以进一步估计76、92右侧和左侧的离去角26，并且发现82、94两者都小于90度。因此，车辆12可以在右侧和左侧寻找86、98空闲停车位10。
参照图12，示出了第五示例性情形，其中车辆12位于通道12上并且已经接近70从通道12的右侧延伸的引道20。引道20通过右侧和左侧的离去角26都大于90度的停车位10的相应排18a、18b界定。引道20不包括任何入界箭头24a或出界箭头24b。
因此，当车辆12(例如车辆12内的系统32)将根据本发明的过程68应用于第五示例性情况时，车辆12可以检测到72没有箭头。因此，在进入引道20之前，车辆12可以估计76、92右侧和左侧的离去角26，并且发现82、94两者都大于90度。因此，车辆12可以避开引道20并且继续80寻找另一个车道。
在上述公开内容中，已经参考了形成其一部分的附图，并且通过图示的方式示出了可以实践本公开的具体实施方式。应当理解的是，在不脱离本公开的范围的情况下，可以利用其他实现并且可以进行结构改变。说明书中对“一个实施例”、“一实施例”、“示例实施例”、“所选实施例”、“某些实施例”等的参考指出所描述的一个或多个实施例可以包括特定的特征、特性，但是每个实施例可能不一定包括特定的特征、结构或特性。此外，这样的短语不一定指代相同的示例。此外，当结合示例描述特定特性、结构或特征时，认为结合其他示例影响这些特性、结构或特征都在本领域技术人员的知识范围内，不论是否明确描述。
本文公开的系统、设备和方法的实现可以包含或利用包括计算机硬件(例如，一个或多个处理器和系统存储器)的专用或通用计算机，如本文所讨论的。在本公开的范围内的实现还可以包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(设备)。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实现可以包含至少两种明显不同种类的计算机可读介质：计算机存储介质(设备)和传输介质。
计算机存储介质(设备)包括RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除可编程只读存储器)、CD-ROM、固态驱动器(“SSD”)(例如，基于RAM)、闪存、相变存储器(“PCM”)、其它类型存储器、其他光盘存储器、磁盘存储器或者其他磁存储设备、或者可用于以计算机可执行指令或数据结构的形式存储期望的程序代码并且可以由通用或专用电脑访问的任何其他介质。
本文公开的设备、系统和方法的实现可以通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子设备之间传送电子数据的一个或多个数据链路。当信息通过网络或其他通信连接(硬连线、无线、或者硬连线或无线的组合)传送或提供给计算机时，计算机将连接正确地视为传输介质。传输介质可以包括网络和/或数据链路，其可以用于以计算机可执行指令或数据结构的形式携带期望的程序代码装置，并且可以由通用或专用计算机访问。上面的组合也应包括在计算机可读介质的范围内。
计算机可执行指令包含例如在处理器上执行时使通用计算机、专用计算机或专用处理设备执行某个功能或功能组的指令和数据。计算机可执行指令可以是例如二进制文件、诸如汇编语言的中间格式指令，甚至是源代码。尽管主题已经用特定于结构特征和/或方法动作的语言描述，但是应当理解的是，所附权利要求中限定的主题不一定限于上述所描述的特征或动作。相反，所描述的特征和动作被公开为实现权利要求的示例形式。
本领域技术人员将理解的是，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实现，所述计算机系统配置包括：内置车载计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持设备、多处理器系统、基于微处理器或可编程消费者电子产品、网络PC(个人电脑)、小型计算机、大型计算机、移动电话、PDA(个人数字助理)、平板电脑、寻呼机、路由器、交换机、各种存储设备等。本公开还可以在分布式系统环境中实现，其中通过网络链接(或者通过硬连线数据链路、无线数据链路，或者通过硬连线数据链路和无线数据链路的组合)的本地和远程计算机系统二者都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储设备中。
此外，在适当的情况下，可以在硬件、软件、固件、数字部件或模拟部件中的一个或多个中执行本文所描述的功能。例如，可以编程一个或多个专用集成电路(ASIC)来执行本文所描述的一个或多个系统和过程。在整个描述和权利要求中使用某些术语来指代特定的系统部件。如本领域技术人员将理解的，部件可以通过不同的名称引用。本文档不旨在区分名称不同而不是功能不同的部件。
应当注意的是，上面讨论的传感器示例可以包含计算机硬件、软件、固件或者它们的任何组合，以执行它们的功能的至少一部分。例如，传感器可以包括配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例设备在本文中为了说明的目的而提供，并且不旨在是限制性的。本公开的示例可以在相关领域的技术人员已知的更多类型的设备中实现。
本公开的至少一些示例已经针对包含存储在任何计算机可用介质上的逻辑(例如，以软件的形式)的计算机程序产品。当在一个或多个数据处理设备中执行时，这样的软件使得设备如本文所述地进行操作。
虽然上面已经描述了本公开的各种示例，但是应当理解的是，它们已经仅作为示例而不是限制来呈现。对于相关领域的技术人员显而易见的是，在不脱离本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。因此，本公开的宽度和范围不应该由上述示例性示例中的任何一个限制，而应仅根据所附权利要求及其等同物来限定。为了说明和描述的目的，已经呈现了前述描述。它不旨在是穷举的，也不是将本公开限制为所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。此外，应当注意的是，可以以期望形成本公开的附加混合实现的任何组合来使用上述替代实现中的任何或全部。

Claims (15)

1.一种停车场内导航的方法，其特征在于，包含：
由自主车辆接近停车场内的车道；
由所述自主车辆使用机器学习和计算机视觉来识别：
在所述车道上的入界箭头，和
与所述车道相邻的限定小于或等于90度的离去角的停车线或停放车辆，其中，所述离去角为所述自主车辆在第一方向上沿着车道行驶以在第二方向上适当地进入一个或多个停车位所必须的方向改变的量度；和
由所述自主车辆响应于所述识别而前进到所述车道中。
2.根据权利要求1所述的方法，其特征在于，使用所述自主车辆上的一个或多个传感器来收集表征所述车道的至少一部分的数据。
3.根据权利要求2所述的方法，其特征在于，所述识别包含由在所述自主车辆上携带的计算机系统来将所述机器学习和所述计算机视觉中应用于所述数据。
4.根据权利要求3所述的方法，其特征在于，所述一个或多个传感器包含摄像机，并且其中所述数据包含由所述摄像机输出的至少一个图像帧。
5.根据权利要求4所述的方法，其特征在于，所述识别包含：
由所述计算机系统使用所述机器学习和所述计算机视觉来选择包含少于所述至少一个图像帧的全部的至少一个感兴趣区域；和
由所述计算机系统通过从所述至少一个图像帧剪切所述至少一个感兴趣区域来生成所述至少一个图像帧的至少一个剪切子集。
6.根据权利要求5所述的方法，其特征在于，
所述识别包含由所述计算机系统使用人工神经网络来对所述至少一个剪切子集进行分类；
所述识别包含由所述计算机系统使用所述人工神经网络来确定所述至少一个剪切子集与多个类别中的每个类别之间的亲和性分数；和
所述多个类别包括
无箭头类别，
仅入界箭头类别，
仅出界箭头类别，和
入界和出界箭头类别。
7.根据权利要求6所述的方法，其特征在于，
所述识别包含由所述计算机系统使用所述人工神经网络来确定所述至少一个剪切子集与多个类别中的每个类别之间的亲和性分数；和
所述多个类别包括
无停车线类别，
离去角小于或等于90度的停车线类别，和
离去角大于90度的停车线类别。
8.根据权利要求6所述的方法，其特征在于，
所述识别包含由所述计算机系统使用所述人工神经网络来确定所述至少一个剪切子集与多个类别中的每个类别之间的亲和性分数；和
所述多个类别包括
无停放车辆类别，
离去角小于或等于90度的停放车辆类别，和
离去角大于90度的停放车辆类别。
9.一种停车场内导航的方法，其特征在于，包含：
由自主车辆接近停车场内的第一引道；
由在所述自主车辆上携带的一个或多个传感器收集表征所述第一引道的至少一部分的第一数据；
由所述自主车辆上携带的计算机系统确认用于前进到所述第一引道的先决条件的存在；
所述确认包含通过将机器学习算法应用于所述第一数据、将计算机视觉技术应用于所述第一数据以及从所述第一数据提取第一距离测量结果来检测所述先决条件；
所述确认用于前进到所述第一引道的先决条件包含：
所述第一引道上的入界箭头，
与所述第一引道相邻的限定小于或等于90度的离去角的停车线，以及
与所述第一引道相邻的限定小于或等于90度的离去角的至少一个停放车辆，其中，所述离去角为所述自主车辆在第一方向上沿着所述第一引道行驶以在第二方向上适当地进入一个或多个停车位所必须的方向改变的量度；和
由所述自主车辆响应于所述确认来前进到所述第一引道中。
10.根据权利要求9所述的方法，其特征在于，由所述自主车辆接近所述停车场内的第二引道。
11.根据权利要求10所述的方法，其特征在于，由所述一个或多个传感器收集表征所述第二引道的至少一部分的第二数据。
12.根据权利要求11所述的方法，其特征在于，由在所述自主车辆上携带的所述计算机系统确认用于前进到所述第二引道的先决条件的不存在。
13.根据权利要求12所述的方法，其特征在于，用于前进到所述第二引道的所述先决条件包含：
所述第二引道上的入界箭头；
与所述第二引道相邻的限定小于或等于90度的离去角的停车线；和
与所述第二引道相邻的限定小于或等于90度的离去角的至少一个停放车辆。
14.根据权利要求9所述的方法，其特征在于，
所述一个或多个传感器包含摄像机；
所述第一数据包含由所述摄像机输出的至少一个图像帧；
由所述计算机系统使用计算机视觉来选择包含少于所述至少一个图像帧的全部的至少一个感兴趣区域；
由所述计算机系统通过从所述至少一个图像帧剪切所述至少一个感兴趣区域来生成所述至少一个图像帧的至少一个剪切子集；和
由所述计算机系统使用人工神经网络来对所述至少一个剪切子集进行分类。
15.一种自主车辆，其特征在于，包含：
在所述自主车辆上携带的一个或多个传感器；
在所述自主车辆上携带的至少一个处理器；和
可操作地连接到所述至少一个处理器的存储器，所述存储器存储被编程为执行下面的操作的软件：
将所述自主车辆引导到停车场内的第一引道，
收集由所述一个或多个传感器输出的表征所述第一引道的至少一部分的第一数据，
使用机器学习、计算机视觉和距离测量来确定用于进入所述第一引道的先决条件是否被反映在所述第一数据中，其中所述先决条件包含：
所述第一引道上的入界箭头，
与所述第一引道相邻的限定小于或等于90度的离去角的停车线，
与所述第一引道相邻的限定小于或等于90度的离去角的至少一个停放车辆，其中，所述离去角为所述自主车辆在第一方向上沿着所述第一引道行驶以在第二方向上适当地进入一个或多个停车位所必须的方向改变的量度；
当所述先决条件存在时，将所述自主车辆引导到进入所述第一引道，和
当所述先决条件不存在时，将所述自主车辆引导到第二引道。
CN201711265850.4A 2016-12-09 2017-12-05 停车场导航系统和方法 Active CN108230731B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/373,845 2016-12-09
US15/373,845 US10481609B2 (en) 2016-12-09 2016-12-09 Parking-lot-navigation system and method

Publications (2)

Publication Number Publication Date
CN108230731A CN108230731A (zh) 2018-06-29
CN108230731B true CN108230731B (zh) 2022-08-16

Family

ID=60950226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711265850.4A Active CN108230731B (zh) 2016-12-09 2017-12-05 停车场导航系统和方法

Country Status (6)

Country Link
US (1) US10481609B2 (zh)
CN (1) CN108230731B (zh)
DE (1) DE102017129075A1 (zh)
GB (1) GB2559250A (zh)
MX (1) MX2017015766A (zh)
RU (1) RU2017142730A (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10527433B2 (en) * 2017-02-06 2020-01-07 International Business Machines Corporation Automated vehicle parking space recommendation
US10780879B2 (en) * 2017-02-14 2020-09-22 Denso Ten Limited Parking controller, parking control system, and parking control method
US10214240B2 (en) * 2017-04-20 2019-02-26 GM Global Technology Operations LLC Parking scoring for autonomous vehicles
US10286904B2 (en) * 2017-06-12 2019-05-14 GM Global Technology Operations LLC Autonomous vehicle parking methods and systems
JP6819500B2 (ja) * 2017-07-26 2021-01-27 株式会社デンソー 駐車支援システムおよび駐車支援方法
JP6575016B2 (ja) * 2017-09-22 2019-09-18 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
JP6825529B2 (ja) * 2017-09-28 2021-02-03 トヨタ自動車株式会社 走行支援装置
US10836379B2 (en) 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking
DE102018114628A1 (de) * 2018-06-19 2019-12-19 Valeo Schalter Und Sensoren Gmbh Auf tiefem Lernen basierende automatische oder halbautomatische Ausparkverfahren
KR20200103464A (ko) * 2019-02-25 2020-09-02 현대자동차주식회사 차량 제어 장치 및 방법
DE102019204656A1 (de) * 2019-04-02 2020-10-08 Conti Temic Microelectronic Gmbh Parkassistenzsystem
JP2021000958A (ja) * 2019-06-24 2021-01-07 本田技研工業株式会社 駐車支援システム
US11048256B2 (en) * 2019-08-09 2021-06-29 Waymo Llc Parking behaviors for autonomous vehicles
US11037000B2 (en) 2019-09-27 2021-06-15 Gm Cruise Holdings Llc Intent-based dynamic change of resolution and region of interest of vehicle perception system
US11070721B2 (en) * 2019-09-27 2021-07-20 Gm Cruise Holdings Llc Intent-based dynamic change of compute resources of vehicle perception system
JP6975766B2 (ja) * 2019-12-13 2021-12-01 本田技研工業株式会社 駐車支援装置、駐車支援方法及びプログラム
CN112319464B (zh) * 2020-11-09 2021-10-15 恒大新能源汽车投资控股集团有限公司 自动泊车方法、装置、设备及存储介质
US20220274592A1 (en) * 2021-02-26 2022-09-01 Ford Global Technologies, Llc Vehicle parking navigation
US11631327B2 (en) 2021-06-30 2023-04-18 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for learning driver parking preferences and generating parking recommendations
JP7548159B2 (ja) * 2021-08-19 2024-09-10 トヨタ自動車株式会社 自動運転システム、自動運転方法およびプログラム
US11794726B2 (en) 2021-09-28 2023-10-24 Ford Global Technologies, Llc Systems and methods for virtual vehicle parking assistance background
US20240038071A1 (en) * 2022-07-22 2024-02-01 Subaru Corporation Feeder lane direction warning systems and methods

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4543983B2 (ja) * 2005-03-22 2010-09-15 株式会社豊田自動織機 駐車支援装置
KR101143176B1 (ko) * 2006-09-14 2012-05-08 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
KR20090088210A (ko) * 2008-02-14 2009-08-19 주식회사 만도 두 개의 기준점을 이용한 목표주차위치 검출 방법과 장치및 그를 이용한 주차 보조 시스템
US8060271B2 (en) 2008-06-06 2011-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Detecting principal directions of unknown environments
JP2010202010A (ja) * 2009-03-02 2010-09-16 Aisin Seiki Co Ltd 駐車支援装置
DE102009028251A1 (de) 2009-08-05 2011-02-10 Robert Bosch Gmbh Verfahren zum unterstützen Einparken in eine Parklücke und Vorrichtung hierzu
US20110080304A1 (en) * 2009-10-07 2011-04-07 Ford Global Technologies, Llc Vehicle Park Assist System and Method for Parking a Vehicle Using Such System
US8948990B2 (en) * 2010-06-25 2015-02-03 Nissan Motor Co., Ltd. Parking assist control apparatus and control method
US9355063B2 (en) * 2010-08-12 2016-05-31 Tomtom Germany Gmbh & Co. Kg Parking lot detection using probe data
AT509870B1 (de) * 2010-08-13 2011-12-15 Karisch Franz Dipl Ing Anordnung zum fahrtrichtungsorientierten ausrichten von mehrspurigen kraftfahrzeugen auf parkplätzen bzw. in garagen
JP5212748B2 (ja) * 2010-09-29 2013-06-19 アイシン精機株式会社 駐車支援装置
DE102010043742A1 (de) * 2010-11-11 2012-06-06 Robert Bosch Gmbh Verfahren zur Auswahl einer Parklücke bei mehreren zum Einparken geeigneten Parklücken
CN102034366B (zh) * 2010-12-17 2013-01-23 财团法人车辆研究测试中心 停车引导方法及装置
DE102011113916A1 (de) * 2011-09-21 2013-03-21 Volkswagen Aktiengesellschaft Verfahren zur Klassifikation von Parkszenarien für ein Einparksystem eines Kraftfahrzeugs
DE102011084549A1 (de) 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers eines Fahrzeugs bei einem Ausparkvorgang aus einer Querparklücke
KR101947826B1 (ko) * 2012-04-10 2019-02-13 현대자동차주식회사 차량의 주차구획 인식방법
US9053372B2 (en) 2012-06-28 2015-06-09 Honda Motor Co., Ltd. Road marking detection and recognition
DE102012018112A1 (de) 2012-09-13 2014-03-13 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen der Ausrichtung einer Parklücke, Parkassistenzsystem und Kraftfahrzeug
TWI492196B (zh) * 2012-11-22 2015-07-11 國立成功大學 停車輔助系統
US9493070B2 (en) 2012-11-27 2016-11-15 Nissan Motor Co., Ltd. Vehicle acceleration suppression device and vehicle acceleration suppression method
US9613533B2 (en) * 2012-12-12 2017-04-04 Honda Motor Co., Ltd. Parking space detector
DE102013101639A1 (de) * 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
US10215583B2 (en) * 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
DE102013005102A1 (de) * 2013-03-23 2014-09-25 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Parkassistent und Betriebsverfahren dafür
US10096246B2 (en) * 2013-04-26 2018-10-09 Itron Networked Solutions, Inc. Using lighting and other streetside devices to indicate parking space availability and navigation information
US9262921B2 (en) * 2013-05-21 2016-02-16 Xerox Corporation Route computation for navigation system using data exchanged with ticket vending machines
DE102014208617A1 (de) * 2013-09-06 2015-03-12 Robert Bosch Gmbh Verfahren und Steuer- und Erfassungseinrichtung zum Plausibilisieren einer Falschfahrt eines Kraftfahrzeugs
DE102013114563A1 (de) * 2013-12-19 2015-06-25 Valeo Schalter Und Sensoren Gmbh Verfahren zum Durchführen eines Einparkvorgangs eines Kraftfahrzeugs in eine Querparklücke, Parkassistenzsystem und Kraftfahrzeug
US9720410B2 (en) * 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
US9384662B2 (en) * 2014-04-17 2016-07-05 Ford Global Technologies, Llc Parking assistance for a vehicle
JP6459226B2 (ja) 2014-06-02 2019-01-30 株式会社Ｓｏｋｅｎ 車載画像処理装置
DE102014212866A1 (de) 2014-07-02 2016-01-07 Robert Bosch Gmbh Verfahren zum Ermitteln eines Parkplatzes aus einer Anzahl von Messpunkten
DE102014110175A1 (de) 2014-07-18 2016-01-21 Valeo Schalter Und Sensoren Gmbh Verfahren zum Unterstützen eines Fahrers beim Einparken eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
US10202784B2 (en) 2014-07-18 2019-02-12 Surelock Mcgill Limited Clutch and handle for lockable mechanism
DE102014111012A1 (de) 2014-08-04 2016-02-04 Valeo Schalter Und Sensoren Gmbh Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Ausparken, Fahrerassistenzsystem und Kraftfahrzeug
JP6354541B2 (ja) * 2014-11-26 2018-07-11 株式会社デンソー 車両遠隔操作システム、携帯通信機
US9541409B2 (en) * 2014-12-18 2017-01-10 Nissan North America, Inc. Marker aided autonomous vehicle localization
US10025996B2 (en) * 2014-12-22 2018-07-17 Volkswagen Ag Early detection of exit only and shared lanes using perception technology
DE102015201764B4 (de) * 2015-02-02 2018-04-05 Volkswagen Aktiengesellschaft Verfahren und Fahrerassistenzsystem zum Erzeugen einer Lichtverteilung durch ein Fahrzeug zur Ausgabe einer Fahranweisung
EP3072710B1 (en) * 2015-03-24 2018-03-28 LG Electronics Inc. Vehicle, mobile terminal and method for controlling the same
KR102267562B1 (ko) * 2015-04-16 2021-06-22 한국전자통신연구원 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
IL238473A0 (en) * 2015-04-26 2015-11-30 Parkam Israel Ltd A method and system for discovering and mapping parking areas
US10214206B2 (en) * 2015-07-13 2019-02-26 Magna Electronics Inc. Parking assist system for vehicle
US10392009B2 (en) * 2015-08-12 2019-08-27 Hyundai Motor Company Automatic parking system and automatic parking method
US9694813B2 (en) * 2015-08-25 2017-07-04 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle operation within a center turn lane
US10318848B2 (en) * 2015-12-15 2019-06-11 Qualcomm Incorporated Methods for object localization and image classification
US9889859B2 (en) * 2015-12-21 2018-02-13 Intel Corporation Dynamic sensor range in advanced driver assistance systems
US20170206434A1 (en) * 2016-01-14 2017-07-20 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
CN105825203B (zh) 2016-03-30 2018-12-18 大连理工大学 基于点对匹配和几何结构匹配的地面箭头标志检测与识别方法
CN105741595B (zh) * 2016-04-27 2018-02-27 常州加美科技有限公司 一种基于云端数据库的无人驾驶车辆导航行车方法
KR101832466B1 (ko) * 2016-06-14 2018-04-13 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량
US20180086381A1 (en) * 2016-09-28 2018-03-29 Dura Operating, Llc System and method for autonomous perpendicular parking of a vehicle
KR20180037414A (ko) * 2016-10-04 2018-04-12 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량
KR101965829B1 (ko) * 2016-10-04 2019-08-13 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량
KR101965834B1 (ko) * 2016-10-12 2019-08-13 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량

Also Published As

Publication number Publication date
DE102017129075A1 (de) 2018-06-14
RU2017142730A (ru) 2019-06-07
MX2017015766A (es) 2018-11-09
GB2559250A (en) 2018-08-01
GB201719944D0 (en) 2018-01-17
CN108230731A (zh) 2018-06-29
US20180164830A1 (en) 2018-06-14
US10481609B2 (en) 2019-11-19

Similar Documents

Publication Publication Date Title
CN108230731B (zh) 停车场导航系统和方法
US10753758B2 (en) Top-down refinement in lane marking navigation
US9417080B2 (en) Movement trajectory generator
CN107203738B (zh) 车辆车道边界定位
CN106873580B (zh) 基于感知数据在交叉口处自主驾驶
JP6566145B2 (ja) 走行支援装置及びコンピュータプログラム
CN107031650B (zh) 基于驾驶员肢体语言来预测车辆运动
EP3104284B1 (en) Automatic labeling and learning of driver yield intention
CN109426256A (zh) 自动驾驶车辆的基于驾驶员意图的车道辅助系统
US9619719B2 (en) Systems and methods for detecting traffic signs
CN110796007B (zh) 场景识别的方法与计算设备
US10402665B2 (en) Systems and methods for detecting traffic signs
JP6800575B2 (ja) 自己の乗り物のドライバを支援する方法およびシステム
CN113228040B (zh) 多级对象行进方向估计的系统和方法
CN114375467B (zh) 用于检测紧急车辆的系统和方法
JP2018197964A (ja) 車両の制御方法及び装置
US20180300565A1 (en) Automatically perceiving travel signals
CN105684039B (zh) 用于驾驶员辅助系统的状况分析
CN111527013A (zh) 车辆变道预测
US20200096360A1 (en) Method for planning trajectory of vehicle
CN116745195A (zh) 车道外安全驾驶的方法和系统
US20180300566A1 (en) Automatically perceiving travel signals
CN113454555A (zh) 用于驾驶策略的轨迹预测
CN114475656B (zh) 行驶轨迹预测方法、装置、电子设备以及存储介质
US20220129683A1 (en) Selecting data for deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant