CN114383594B - 地图生成装置、地图生成方法以及地图生成用计算机程序产品 - Google Patents
地图生成装置、地图生成方法以及地图生成用计算机程序产品 Download PDFInfo
- Publication number
- CN114383594B CN114383594B CN202111140735.0A CN202111140735A CN114383594B CN 114383594 B CN114383594 B CN 114383594B CN 202111140735 A CN202111140735 A CN 202111140735A CN 114383594 B CN114383594 B CN 114383594B
- Authority
- CN
- China
- Prior art keywords
- intersection
- road
- lane
- roads
- stop line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004590 computer program Methods 0.000 title claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 69
- 239000000284 extract Substances 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3837—Data obtained from a single source
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
- G01C21/3822—Road feature data, e.g. slope data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3852—Data derived from aerial or satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/182—Network patterns, e.g. roads or rivers
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Processing Or Creating Images (AREA)
- Instructional Devices (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及地图生成装置、地图生成方法及地图生成用计算机程序。该地图生成装置具有:停止线检测部(11),从俯视图像检测交叉路口的临时停止线;交叉路口区域检测部(12),从俯视图像检测包括交叉路口及与交叉路口连接的多个道路的交叉路口区域;车道检测部(13),关于多个道路中的抽取出临时停止线的道路,根据临时停止线的长度与该道路的宽度之比检测进入到交叉路口的进入车道和从交叉路口退出的退出车道中的至少一方;及通路网络生成部(14),关于多个道路的各个道路,以将该道路的进入车道与多个道路中的其它道路中的车辆能够从该道路的进入车道行进的退出车道连结的方式,生成示出交叉路口的车道彼此的连接关系的通路网络。
Description
技术领域
本发明涉及从图像生成地图的地图生成装置、地图生成方法以及地图生成用计算机程序。
背景技术
提出了从显示了道路的图像中生成车道等级的地图的技术(例如,参照日本特开2015-4814号公报)。日本特开2015-4814号公报所公开的通路地图生成装置搭载于车辆,且由对车辆的周边进行摄像的摄像单元摄像,从附加了车辆的位置信息的局部图像的各个局部图像抽取车辆的各行驶通路的通路中心点群。另外,该通路地图生成装置根据将局部图像的各个局部图对照并合成而得到的大范围图像,按表示相同的行驶通路的每个中心点群对各行驶通路的中心点群进行分组。进而,该通路地图生成装置关于道路网络上的各链路,使用非分支通路模型,生成与链路对应的非分支的行驶通路各自的中心线。然后,该通路地图生成装置在道路网络上的各节点处,使用分支通路模型,生成用于分支为能够连接的非分支的行驶通路的分支通路各自的中心线。
发明内容
在上述技术中,为了生成包含车道等级的信息的地图,使用车辆实际地在道路上行驶并由安装于该车辆的摄像机得到的影像。因此,为了生成地图而花费非常多的工时和费用。另外,在关于能够通过交叉路口的行驶路径的出口点、中间点以及入口点的组的生成时,为了获取能够连接的出口点与入口点的配对,使用车辆的轨迹的统计解析结果。因此,关于车辆未实际地通过的交叉路口,在与交叉路口连接的各道路间,无法得到能够行驶的车道间的连接关系。
因而,本发明的目的在于提供能够根据俯视图像,在与交叉路口连接的各道路间,自动地抽取能够行驶的车道间的连接关系的地图生成装置。
作为一个方式,提供一种地图生成装置。该地图生成装置具有:停止线检测部,从俯视图像检测交叉路口处的临时停止线;交叉路口区域检测部,从俯视图像检测包括交叉路口以及与交叉路口连接的多个道路的交叉路口区域;车道检测部,关于多个道路中的抽取出临时停止线的道路,根据临时停止线的长度与该道路的宽度之比来检测进入到交叉路口的进入车道和从交叉路口退出的退出车道中的至少一方;以及通路网络生成部,关于多个道路的各个道路,以将该道路的进入车道与多个道路中的其它道路中的车辆能够从该道路的进入车道行进的退出车道进行连结的方式,生成示出交叉路口处的车道彼此的连接关系的通路网络。
在该地图生成装置中,交叉路口区域检测部优选从俯视图像检测交叉路口内的基准点,以使从基准点起沿着放射方向设置的多个扫描线中的任意扫描线与临时停止线交叉的位置包含于交叉路口区域的方式检测交叉路口区域。
在该情况下,交叉路口区域检测部优选从俯视图像检测表示交叉路口的道路标示,将基准点设定于显示了检测到的道路标示的位置。
或者,交叉路口区域检测部优选从俯视图像抽取显示了道路的道路区域,将抽取出的道路区域进行细线化或者骨架化,从而生成示出道路的连接关系的网络,将所生成的网络中的次数3以上的节点作为基准点。
另外,在该地图生成装置中,通路网络生成部优选通过将交叉路口区域输入到以关于多个道路的各个道路而输出该道路的进入车道与多个道路中的其它道路的退出车道中的车辆能够从该道路的进入车道行进的退出车道的连接关系的方式被预先学习的识别器,从而生成交叉路口区域的通路网络。
作为另一方式,提供一种地图生成方法。该地图生成方法包括:从俯视图像检测交叉路口处的临时停止线,从俯视图像检测包括交叉路口以及与交叉路口连接的多个道路的交叉路口区域,关于多个道路中的抽取出临时停止线的道路,根据临时停止线的长度与该道路的宽度之比来检测进入到交叉路口的进入车道和从交叉路口退出的退出车道中的至少一方,关于多个道路的各个道路,以将该道路的进入车道与多个道路中的其它道路中的车辆能够从该道路的进入车道行进的退出车道进行连结的方式,生成示出交叉路口处的车道彼此的连接关系的通路网络。
作为又一方式,提供一种地图生成用计算机程序。该地图生成用计算机程序包含用于使计算机执行如下步骤的命令:从俯视图像检测交叉路口处的临时停止线,从俯视图像检测包括交叉路口以及与交叉路口连接的多个道路的交叉路口区域,关于多个道路中的抽取出临时停止线的道路,根据临时停止线的长度与该道路的宽度之比来检测进入到交叉路口的进入车道和从交叉路口退出的退出车道中的至少一方,关于多个道路的各个道路,以将该道路的进入车道与多个道路中的其它道路中的车辆能够从该道路的进入车道行进的退出车道进行连结的方式,生成示出交叉路口处的车道彼此的连接关系的通路网络。
本发明的地图生成装置产生:能够根据俯视图像,在与交叉路口连接的各道路间,自动地抽取能够行驶的车道间的连接关系这样的效果。
附图说明
图1是一个实施方式的地图生成装置的硬件结构图。
图2是一个实施方式的地图生成装置的处理器的功能框图。
图3A是交叉路口区域检测的概要的说明图。
图3B是交叉路口区域检测的概要的说明图。
图3C是交叉路口区域检测的概要的说明图。
图4是基于骨架化或者细线化处理的交叉路口的基准检查测的概要的说明图。
图5A是示出所生成的通路网络的一个例子的图。
图5B是示出所生成的通路网络的一个例子的图。
图6是地图生成处理的动作流程图。
具体实施方式
以下,参照图说明地图生成装置以及由该地图生成装置利用的地图生成方法以及地图生成用计算机程序。该地图生成装置从显示了道路的俯视图像检测包括交叉路口处的临时停止线、交叉路口以及与交叉路口连接的多个道路的交叉路口区域。另外,该地图生成装置关于与交叉路口连接的多个道路中的抽取出临时停止线的道路,根据临时停止线的长度与该道路的宽度之比来检测进入到交叉路口的进入车道和从交叉路口退出的退出车道中的至少一方。然后,该地图生成装置关于与交叉路口连接的多个道路的各个道路,以将该道路的进入车道与其它道路中的车辆能够从该道路的进入车道行进的退出车道进行连结的方式,生成示出交叉路口处的车道彼此的连接关系的通路网络。
此外,在以下说明的各实施方式或者变形例中,作为地图生成处理的对象的显示了道路的俯视图像例如能够设为能够通过从铅垂上方对地面进行摄影而得到且能够识别显示于道路上的各个道路标示的图像,例如显示了高分辨率的卫星照片或者航空照片的图像。另外,在以下的说明中,有时将作为地图生成处理的对象的俯视图像简称为图像。
图1是一个实施方式的地图生成装置的硬件结构图。如图1所示,地图生成装置1具有通信接口2、输入装置3、显示装置4、存储器5、存储介质访问装置6以及处理器7。
通信接口2具有用于与遵循以太网(注册商标)等通信标准的通信网络连接的通信接口及其控制电路。通信接口2从经由通信网络连接的其它设备(未图示)接收各种信息或者数据,交付给处理器7。也可以在通信接口2接收的数据中包含作为地图生成处理的对象的显示了道路的图像和表示显示于该图像的地理的范围的信息(例如,显示于该图像的区域的预定的位置(例如,左上端或者中心)的纬度以及经度、该区域的水平方向以及垂直方向的实际空间尺寸以及方位)。另外,通信接口2也可以经由通信网络将从处理器7接受到的作为地图生成处理的执行结果而得到的地图信息的一个例子即道路地图输出到其它设备。
输入装置3例如具有键盘和鼠标这样的指向器件。然后,输入装置3生成与由用户进行的操作例如选择作为地图生成处理的对象的图像的操作、指示地图生成处理的执行开始的操作或者使所生成的道路地图显示于显示装置4的操作相应的操作信号,将该操作信号输出到处理器7。
显示装置4例如具有液晶显示器或者有机EL显示器。然后,显示装置4显示从处理器7接受到的显示用的数据例如表示被执行地图生成处理的图像的候补的数据或者所生成的道路地图或者其一部分。
此外,输入装置3和显示装置4也可以是如触摸面板显示器那样一体化的装置。
存储器5是存储部的一个例子,例如是能够读写的半导体存储器和只读半导体存储器。然后,存储器5例如存储由处理器7执行的地图生成处理用的计算机程序、在该地图生成处理中使用的各种数据,例如规定在地图生成处理中使用的识别器的参数群以及在该地图生成处理的执行过程中生成的各种数据。进而,存储器5也可以存储作为地图生成处理的对象的图像以及表示显示于该图像的地理的范围的信息。进而,存储器5也可以存储所生成的道路地图。
存储介质访问装置6例如是访问磁盘、半导体存储卡以及光存储介质这样的存储介质8的装置。此外,存储介质访问装置6与存储介质8一起构成存储部的另一例子。存储介质访问装置6例如读入存储于存储介质8的在处理器7上执行的地图生成处理用的计算机程序或者作为地图生成处理的对象的图像,交付给处理器7。或者,存储介质访问装置6也可以从处理器7接受所生成的道路地图,将该道路地图写入到存储介质8。
处理器7是处理部的一个例子,例如具有1个或者多个CPU及其周边电路。进而,处理器7也可以具有数值运算用的运算电路、图形处理用的运算电路以及逻辑运算用的运算电路。然后,处理器7控制地图生成装置1整体。另外,处理器7对作为地图生成处理的对象的显示了道路的图像执行地图生成处理。
图2是与地图生成处理有关的处理器7的功能框图。如图2所示,处理器7具有停止线检测部11、交叉路口区域检测部12、车道检测部13、通路网络生成部14以及地图生成部15。处理器7所具有的这些各部分例如是通过在处理器7上执行的计算机程序实现的功能模块。或者,处理器7所具有的这些各部分也可以是设置于处理器7的专用的运算电路。
停止线检测部11检测显示于图像的各个临时停止线。为此,停止线检测部11例如通过将图像输入到以从图像检测临时停止线的方式被预先学习的识别器,从而检测各个临时停止线。停止线检测部11作为这样的识别器,例如能够使用具有卷积神经网络(Convolutional Neural Network,CNN)型的架构的所谓的深度神经网络(DNN)。更具体而言,这样的识别器例如能够设为全卷积网络(Fully Convolutional Network(FCN))、U-Net或者PSPNet这样的语义分割用的CNN或者Mask-RCNN这样的实例分割用的CNN。或者,另外,这样的识别器也可以是单发多盒探测器(Single Shot MultiBox Detector(SSD))或者Faster R-CNN这样的物体检测用的CNN。进而,这样的识别器也可以是遵循AdaBoost这样的神经网络以外的机器学习手法的识别器。或者另外,停止线检测部11也可以通过模板匹配这样的机器学习以外的手法,检测临时停止线。
停止线检测部11将表示检测到的各个临时停止线在图像上的位置以及尺寸的信息通知给交叉路口区域检测部12、车道检测部13以及地图生成部15。
交叉路口区域检测部12关于显示于图像的各个交叉路口,检测包括该交叉路口和与该交叉路口连接的多个道路的预定的区域(以下,简称为交叉路口区域)。为此,交叉路口区域检测部12例如通过将图像输入到以从图像检测显示了表示交叉路口的中心的道路标示(以下,称为交叉路口标记)以及道路的道路区域的方式被预先学习的识别器,从而检测各个交叉路口标记以及道路区域。交叉路口区域检测部12作为这样的识别器而能够使用与关于停止线检测部11而说明的识别器同样的识别器,例如语义分割用或者实例分割用的CNN。在作为识别器而使用语义分割用的CNN的情况下,交叉路口区域检测部12通过对表示交叉路口标记的像素的集合应用聚类处理或者标注处理,从而按各个交叉路口标记的每个标记而对表示交叉路口标记的像素的集合进行分类即可。此外,也可以在停止线检测部11中使用的识别器以不仅从图像检测临时停止线,还从图像检测交叉路口标记以及道路区域的方式被预先学习。在该情况下,交叉路口区域检测部12从停止线检测部11将表示交叉路口标记以及道路区域在图像上的位置以及尺寸的信息与表示临时停止线在图像上的位置以及尺寸的信息一起接受即可。
当检测到交叉路口标记以及道路区域时,交叉路口区域检测部12针对检测到的每个交叉路口标记,依照以下的次序检测交叉路口区域。
交叉路口区域检测部12将图像上的检测到的交叉路口标记内的预定的点例如交叉路口标记的重心的位置设定为交叉路口内的基准点。然后,交叉路口区域检测部12从基准点起沿着放射方向以等角度间隔设定多个扫描线,针对每个扫描线,将该扫描线与道路区域和除此以外的区域的边界(以下,称为道路端)或者使临时停止线延伸至道路端的线交叉的位置检测为交叉路口区域的外部边缘。通过这样决定交叉路口区域的外部边缘,从而在交叉路口区域包括与交叉路口连接的各道路的临时停止线,所以易于求出与交叉路口连接的各道路所具有的车道的数量。
另外,关于各个扫描线中的在从交叉路口的基准点至预先设定的最远端之间不存在与如上所述的临时停止线等交叉的位置的扫描线,交叉路口区域检测部12将该最远端的位置检测为交叉路口区域的外部边缘候补。然后,关于到达最远端的位置成为外部边缘候补的道路,交叉路口区域检测部12使外部边缘候补排列的外部边缘候补线向基准点逐渐靠近,将该外部边缘候补线的长度比紧接着其之前的长度长预定比率以上时的远离基准点预定像素数的位置的外部边缘候补线设定为交叉路口区域的外部边缘。由此,交叉路口区域检测部12关于与交叉路口连接的各道路中的未设置临时停止线的道路,也能够使该道路与交叉路口的连接部位包含于交叉路口区域。因此,能够适当地设定与未设置该临时停止线的道路有关的通路网络。
交叉路口区域检测部12关于与交叉路口连接的各道路,将用将设定于该道路上的外部边缘彼此进行连结的线包围的区域检测为交叉路口区域。
图3A~图3C是交叉路口区域检测的概要的说明图。如图3A所示,从交叉路口内的基准点301起沿着放射方向设定的各扫描线302与道路端303或者使临时停止线304延伸至道路端303的线交叉的位置被设定为交叉路口区域的外部边缘。但是,关于在从基准点301观察时位于右侧的道路305,不存在临时停止线,所以交叉路口区域的外部边缘的候补线311设定于预先设定的最远端的位置。
如图3B所示,关于道路305,当使外部边缘候补线向基准点301逐渐靠近时,在位置306处,该外部边缘候补线的长度比紧前的长度长预定比率以上。因而,从位置306起远离基准点301预定像素数的位置的外部边缘候补线被设定为道路305上的交叉路口区域的外部边缘的一部分312。
如图3C所示,最终用关于各道路而求出的外部边缘包围的区域成为交叉路口区域313。
此外,根据交叉路口的不同,有时未设置交叉路口标记。因而,交叉路口区域检测部12也可以依照以下的次序设定关于未设置交叉路口标记的交叉路口的基准点。
交叉路口区域检测部12通过对由识别器检测到的道路区域应用骨架化处理,从而求出示出各道路的连接关系的骨架网络。由此,各道路用一根线表示,所以在交叉路口处,成为多个线交叉的节点。因而,交叉路口区域检测部12将次数3以上的节点的各个节点作为基准点。此外,交叉路口区域检测部12也可以不将道路区域进行骨架化,而对道路区域执行细线化处理,从而求出示出各道路的连接关系的细线化的网络。在该情况下也同样地,交叉路口区域检测部12将次数3以上的节点的各个节点作为基准点即可。根据这样的网络来设定基准点,从而交叉路口区域检测部12关于未设置交叉路口标记的交叉路口,也能够在交叉路口内设定基准点,作为其结果,关于这样的交叉路口,也能够适当地设定交叉路口区域。
图4是基于骨架化或者细线化处理的交叉路口的基准检查测的概要的说明图。如图4所示,在显示于图像400的道路区域被骨架化或者细线化而得到的骨架或者细线化网络401中,在各个交叉路口处出现次数3以上的节点402。因而可知,各节点402能够设定为用于交叉路口区域检测的基准点。
或者,交叉路口区域检测部12也可以将表示道路端的各个像素作为母点,对道路区域执行沃罗诺伊分割处理。在该情况下,沃罗诺伊边界被拉到各个道路的大致中心,所以在交叉路口处,出现多个沃罗诺伊边界交叉的沃罗诺伊点。因而,交叉路口区域检测部12将沃罗诺伊点分别作为基准点即可。在该情况下,交叉路口区域检测部12关于未设置交叉路口标记的交叉路口,也能够在交叉路口内设定基准点,作为其结果,关于这样的交叉路口,也能够适当地设定交叉路口区域。
交叉路口区域检测部12关于检测到的各个交叉路口区域,将表示图像上的该交叉路口区域的信息通知给车道检测部13、通路网络生成部14以及地图生成部15。
车道检测部13关于与检测到的各个交叉路口区域所包含的交叉路口连接的各道路,检测进入到该交叉路口的进入车道和从交叉路口退出的退出车道中的至少一方。
例如,车道检测部13关于关注的道路,如果临时停止线的长度为对道路宽度乘以预定的系数(例如,0.5)而得到的值以下,则判定为在该道路中包括进入车道和退出车道这两方。另一方面,如果临时停止线的长度比对道路宽度乘以预定的系数而得到的值长,则车道检测部13判定为在该道路中仅包括进入车道。此外,车道检测部13能够将关注的道路的宽度作为与该道路的延伸方向大致正交的方向上的道路端间的距离而计算。另外,在由上述识别器检测到车道区划线的情况下,车道检测部13关于关注的道路的进入车道以及退出车道的各个车道,判定为存在根据该车道区划线划分的数量的车道。此时,车道检测部13也可以关于设置有临时停止线的道路,根据车道区划线与临时停止线的位置关系,判定进入车道的数量以及退出车道的数量。例如,车道检测部13关于关注的道路,将对设置于在与该道路的延伸方向大致正交的方向上不与设置于该道路的临时停止线重叠的位置的车道区划线的数量加上1而得到的数量设为退出车道的数量。另外,车道检测部13关于关注的道路,将对设置于在与该道路的延伸方向大致正交的方向上与设置于该道路的临时停止线重叠的位置的车道区划线的数量加上1的数量设为进入车道的数量。进而,车道检测部13也可以关于关注的道路,关于在与该道路的延伸方向大致正交的方向上从临时停止线的道路的中央侧的一端起位于预定的范围内的车道区划线,会作为将进入车道与退出车道进行区分的,不会在进入车道以及退出车道的数量的计数中参照。此外,预定的范围例如被设定为比图像上的车辆的宽度小的尺寸。
另外,当在未设置临时停止线的道路中检测到一个车道区划线的情况下,车道检测部13也可以判定为在该道路中包括按照车道区划线划分的两个车道。然后,车道检测部13将该两个车道中的依照显示于图像的地域的道路法规而能够进入到交叉路口的车道判定为进入车道,将另一个车道判定为退出车道即可。进而,关于临时停止线以及车道区划线都未被检测到的道路(以下,为了便于说明,称为无停止线道路),车道检测部13判定为在无停止线道路中仅包括退出车道。或者,关于无停止线道路,车道检测部13也可以根据与和相同的交叉路口连接的其它道路所具有的车道的关系,判定无停止线道路的车道是进入车道还是退出车道。例如,在关注的交叉路口区域所包含的交叉路口是十字路口,在处于隔着基准点与无停止线道路对置的位置的道路上设置有临时停止线,且该道路的车道仅是进入车道的情况下,车道检测部13判定为无停止线道路仅包括退出车道。另一方面,在关注的交叉路口区域所包含的交叉路口是十字路口,处于隔着基准点与关注的无停止线道路对置的位置的道路也是无停止线道路的情况下,关注的无停止线道路所包含的一个车道也可以设为是向关注的交叉路口的进入以及从关注的交叉路口的退出都能够进行的车道即是进入车道,且是退出车道。这样,根据临时停止线的有无、以及临时停止线的长度与道路的宽度之比来检测进入车道以及退出车道,车道检测部13能够精度良好地检测与交叉路口连接的各道路所包含的进入车道以及退出车道。
车道检测部13关于各个交叉路口区域,将与该交叉路口区域所包含的交叉路口连接的各道路的进入车道以及退出车道的数量通知给通路网络生成部14。
通路网络生成部14关于各个交叉路口区域,关于与该交叉路口区域所包含的交叉路口连接的多个道路的各个道路,以将该道路的进入车道与和该交叉路口连接的其它道路的退出车道进行连结的方式,生成示出交叉路口处的车道彼此的连接关系的通路网络。由此,关于各交叉路口,能够得到以车道为单位表示车辆能够行进的方向的信息。
图5A以及图5B是示出所生成的通路网络的一个例子的图。如图5A所示,4条道路502~505连接于显示于图像500的交叉路口501。其中,相对于交叉路口501,在从左侧连接的道路502、从上侧连接的道路503以及从下侧连接的道路505的各个道路中设置有临时停止线510。而且,根据该临时停止线510的长度和道路的宽度,判定为在道路503以及道路505中包括进入车道和退出车道,在道路502中仅包括进入车道。另外,相对于交叉路口501,在从右侧连接的道路504中未设置临时停止线,判定为仅包括退出车道。
因而,在图5B所示的通路网络520中,道路502的进入车道与道路503~505各自的退出车道连接。另外,道路503的进入车道503a与道路504的退出车道以及道路505的退出车道505b连接。另一方面,道路503的退出车道503b与道路502的进入车道以及道路505的进入车道505a连接。同样地,道路505的进入车道505a与道路504的退出车道以及道路503的退出车道503b连接,道路505的退出车道505b与道路502的进入车道以及道路503的进入车道503a连接。而且,道路504的退出车道与道路502、道路503以及道路505各自的进入车道连接。
通路网络生成部14将表示关于各个交叉路口区域的通路网络的信息通知给地图生成部15。
地图生成部15生成包含表示关于各交叉路口区域的通路网络的信息的地图。另外,地图生成部15关于从图像检测到的各个道路,将与该道路所包含的车道的数量以及设置于各车道的道路标示有关的信息包含于地图。
此时,地图生成部15也可以针对每个交叉路口区域,参照表示显示于作为地图生成处理的对象的图像的地理的范围的信息以及图像上的该交叉路口区域的位置,求出该交叉路口的位置,将表示该位置的位置信息(例如,纬度以及经度)与道路地图关联起来。同样地,地图生成部15也可以关于各道路,按预定的长度的每个区间而划分该道路,针对每个该区间,参照表示显示于作为地图生成处理的对象的图像的地理的范围的信息以及图像上的该区间的位置,求出该区间的位置,将表示该位置的位置信息与道路地图关联起来。
进而,地图生成部15也可以通过将针对每个图像而生成的道路地图进行结合,从而生成更宽范围的道路地图。此时,地图生成部15通过针对每个图像而参照表示显示于该图像的地理的范围的信息,从而以使相同的道路的相同的位置彼此重叠的方式,将从各个图像得到的道路地图进行结合即可。
地图生成部15将所生成的道路地图存储于存储器5,或者,经由存储介质访问装置6写入到存储介质8。或者,地图生成部15也可以经由通信接口2将所生成的道路地图输出到其它设备。
图6是地图生成处理的动作流程图。处理器7针对作为地图生成处理的对象的每个俯视图像,依照下述动作流程图而执行地图生成处理即可。
处理器7的停止线检测部11检测显示于俯视图像的各个临时停止线(步骤S101)。另外,处理器7的交叉路口区域检测部12检测显示于俯视图像的各个交叉路口区域(步骤S102)。
处理器7的车道检测部13关于检测到的各个交叉路口区域,关于与该交叉路口连接的各道路,根据该道路的临时停止线的有无以及临时停止线的长度与该道路的宽度之比,检测进入车道和退出车道中的至少一方(步骤S103)。
处理器7的通路网络生成部14关于各个交叉路口区域,关于与该交叉路口区域所包含的交叉路口连接的多个道路的各个道路,以将该道路的进入车道与和该交叉路口连接的其它道路的退出车道进行连结的方式生成通路网络(步骤S104)。
然后,处理器7的地图生成部15生成包含表示关于各交叉路口区域的通路网络的信息的道路地图(步骤S105)。然后,处理器7结束地图生成处理。
如以上说明那样,该地图生成装置检测显示了道路的俯视图像所显示的各个交叉路口区域,关于检测到的各个交叉路口区域,关于与交叉路口连接的各道路而检测进入车道和退出车道中的至少一方。然后,该地图生成装置关于各交叉路口区域,关于与交叉路口连接的多个道路的各个道路,以将该道路的进入车道与其它道路中的车辆能够从该道路的进入车道行进的退出车道进行连结的方式生成通路网络。这样,该地图生成装置能够根据俯视图像,在与交叉路口连接的各道路间,自动地抽取能够行驶的车道间的连接关系。
此外,根据交叉路口的不同,有时因道路标识而限制从与该交叉路口连接的任意的道路退出。在这样的情况下,在俯视图像中,未显示道路标识的显示内容,所以要求不参照道路标识地关于与交叉路口连接的各道路而判定能否退出。
因而,根据变形例,通路网络生成部14也可以将交叉路口区域输入到以关于与交叉路口连接的各道路而输出该道路的进入车道与其它道路的退出车道中的车辆能够行进的退出车道的连接关系的方式预先学习的识别器,从而生成该交叉路口区域的通路网络。作为这样的识别器,通路网络生成部14例如能够使用图解析神经网络(Graph ParsingNeural Network(GPNN))。另外,通路网络生成部14能够为了从交叉路口区域所包含的各像素的值求出输入到GPNN的特征矢量,而使用包括变分自动编码器(Variational Auto-Encoder(VAE))或者位置敏感ROI(PSRoI)池化层(Position-Sensitive ROI(PSRoI)Pooling层)的可变形卷积网络(Deformable Convolutional Network)这样的具有CNN型的架构的DNN。通路网络生成部14将通过将交叉路口区域的各像素的值输入到这些DNN而生成的特征图(feature map)设为输入到GPNN的特征矢量即可。
根据该变形例,通路网络生成部14即使在关于与交叉路口连接的道路中的任意道路,因道路标识而限制从交叉路口向该道路的退出的情况下,也能够适当地生成通路网络。
进而,使计算机实现上述实施方式或者变形例的地图生成装置的处理器所具有的各部分的功能的计算机程序也可以以存储于能够由计算机读取的记录介质的形式提供。此外,能够由计算机读取的记录介质例如能够设为磁记录介质、光记录介质或者半导体存储器。
Claims (7)
1.一种地图生成装置,具有:
停止线检测部,从俯视图像检测交叉路口处的临时停止线;
交叉路口区域检测部,从所述俯视图像检测包括交叉路口以及与所述交叉路口连接的多个道路的交叉路口区域;
车道检测部,关于所述多个道路中的抽取出所述临时停止线的道路,根据所述临时停止线的长度与该道路的宽度之比来检测进入到所述交叉路口的进入车道和从所述交叉路口退出的退出车道中的至少一方;以及
通路网络生成部,关于所述多个道路的各个道路,以将该道路的所述进入车道与所述多个道路中的其它道路中的车辆能够从该道路的所述进入车道行进的所述退出车道进行连结的方式,生成示出所述交叉路口处的车道彼此的连接关系的通路网络。
2.根据权利要求1所述的地图生成装置,其中,
所述交叉路口区域检测部从所述俯视图像检测所述交叉路口内的基准点,以使从所述基准点起沿着放射方向设置的多个扫描线中的任意扫描线与所述临时停止线交叉的位置包含于所述交叉路口区域的方式检测交叉路口区域。
3.根据权利要求2所述的地图生成装置,其中,
所述交叉路口区域检测部从所述俯视图像检测表示所述交叉路口的道路标示,将所述基准点设定于显示了检测到的所述道路标示的位置。
4.根据权利要求2所述的地图生成装置,其中,
所述交叉路口区域检测部从所述俯视图像抽取显示了道路的道路区域,将抽取出的所述道路区域进行细线化或者骨架化,从而生成示出道路的连接关系的网络,将所生成的所述网络中的次数3以上的节点作为所述基准点。
5.根据权利要求1~4中的任意一项所述的地图生成装置,其中,
所述通路网络生成部通过将所述交叉路口区域输入到以关于所述多个道路的各个道路而输出该道路的进入车道与所述多个道路中的其它道路的退出车道中的车辆能够从该道路的所述进入车道行进的退出车道的连接关系的方式被预先学习的识别器,从而生成所述交叉路口区域的通路网络。
6.一种地图生成方法,包括:
从俯视图像检测交叉路口处的临时停止线,
从所述俯视图像检测包括交叉路口以及与所述交叉路口连接的多个道路的交叉路口区域,
关于所述多个道路中的抽取出所述临时停止线的道路,根据所述临时停止线的长度与该道路的宽度之比来检测进入到所述交叉路口的进入车道和从所述交叉路口退出的退出车道中的至少一方,
关于所述多个道路的各个道路,以将该道路的所述进入车道与所述多个道路中的其它道路中的车辆能够从该道路的所述进入车道行进的所述退出车道进行连结的方式,生成示出所述交叉路口处的车道彼此的连接关系的通路网络。
7.一种地图生成用计算机程序产品,包括地图生成用计算机程序,该地图生成用计算机程序使计算机执行:
从俯视图像检测交叉路口处的临时停止线,
从所述俯视图像检测包括交叉路口以及与所述交叉路口连接的多个道路的交叉路口区域,
关于所述多个道路中的抽取出所述临时停止线的道路,根据所述临时停止线的长度与该道路的宽度之比来检测进入到所述交叉路口的进入车道和从所述交叉路口退出的退出车道中的至少一方,
关于所述多个道路的各个道路,以将该道路的所述进入车道与所述多个道路中的其它道路中的车辆能够从该道路的所述进入车道行进的所述退出车道进行连结的方式,生成示出所述交叉路口处的车道彼此的连接关系的通路网络。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020169279A JP7287373B2 (ja) | 2020-10-06 | 2020-10-06 | 地図生成装置、地図生成方法及び地図生成用コンピュータプログラム |
JP2020-169279 | 2020-10-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114383594A CN114383594A (zh) | 2022-04-22 |
CN114383594B true CN114383594B (zh) | 2024-07-02 |
Family
ID=80931204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111140735.0A Active CN114383594B (zh) | 2020-10-06 | 2021-09-28 | 地图生成装置、地图生成方法以及地图生成用计算机程序产品 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11835359B2 (zh) |
JP (1) | JP7287373B2 (zh) |
CN (1) | CN114383594B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115507866B (zh) * | 2022-09-20 | 2024-01-12 | 北京百度网讯科技有限公司 | 地图数据的处理方法、装置、电子设备和介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101988831A (zh) * | 2009-08-03 | 2011-03-23 | 阿尔派株式会社 | 导航装置及其道路信息提示方法 |
CN109949594A (zh) * | 2019-04-29 | 2019-06-28 | 北京智行者科技有限公司 | 实时的交通灯识别方法 |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3711518B2 (ja) * | 2001-11-05 | 2005-11-02 | 警察庁科学警察研究所長 | 交通信号無視車両自動記録装置及びその方法 |
JP3969251B2 (ja) * | 2002-08-23 | 2007-09-05 | トヨタ自動車株式会社 | 車両用運転補助装置 |
JP2004246554A (ja) | 2003-02-13 | 2004-09-02 | Zenrin Co Ltd | 道路データ生成方法 |
JP2004295597A (ja) * | 2003-03-27 | 2004-10-21 | Honda Motor Co Ltd | 車両用停止線検出装置 |
JP4130441B2 (ja) * | 2004-07-16 | 2008-08-06 | 三菱電機株式会社 | 地図情報処理装置 |
JP4820712B2 (ja) * | 2005-08-05 | 2011-11-24 | アイシン・エィ・ダブリュ株式会社 | 路面標示認識システム |
JP2007155352A (ja) * | 2005-11-30 | 2007-06-21 | Aisin Aw Co Ltd | 経路案内システム及び経路案内方法 |
JP4975350B2 (ja) | 2006-03-31 | 2012-07-11 | 三菱電機株式会社 | 車載用ナビゲーション装置 |
JP4724043B2 (ja) * | 2006-05-17 | 2011-07-13 | トヨタ自動車株式会社 | 対象物認識装置 |
JP4680131B2 (ja) * | 2006-05-29 | 2011-05-11 | トヨタ自動車株式会社 | 自車位置測定装置 |
KR100819047B1 (ko) * | 2006-11-27 | 2008-04-02 | 한국전자통신연구원 | 교차로 중심선 예측 장치 및 방법 |
JP5353097B2 (ja) | 2008-07-22 | 2013-11-27 | 朝日航洋株式会社 | 道路網データ生成装置及び交差点内車線生成装置、並びにこれらの方法及びプログラム |
JP2011013039A (ja) | 2009-06-30 | 2011-01-20 | Clarion Co Ltd | 車線判定装置及びナビゲーションシステム |
JP5888021B2 (ja) * | 2012-03-13 | 2016-03-16 | 日産自動車株式会社 | 道路情報作成・配信装置、車載装置、道路情報作成・配信システム、道路情報作成・配信方法 |
JP6160191B2 (ja) * | 2013-04-15 | 2017-07-12 | アイシン・エィ・ダブリュ株式会社 | 運転支援システム、方法およびプログラム |
JP6197393B2 (ja) | 2013-06-20 | 2017-09-20 | 株式会社豊田中央研究所 | レーン地図生成装置及びプログラム |
JP6342856B2 (ja) * | 2015-07-31 | 2018-06-13 | トヨタ自動車株式会社 | 車両制御装置 |
US10042362B2 (en) * | 2016-11-18 | 2018-08-07 | Waymo Llc | Dynamic routing for autonomous vehicles |
JP7016214B2 (ja) * | 2016-11-29 | 2022-02-04 | アルパイン株式会社 | 走行可能領域設定装置および走行可能領域設定方法 |
JP2018169511A (ja) | 2017-03-30 | 2018-11-01 | パイオニア株式会社 | 地図データ生成装置、地図データ生成方法、及び、プログラム |
JP6912251B2 (ja) | 2017-03-31 | 2021-08-04 | パイオニア株式会社 | 車線情報生成装置及び車線情報生成方法並びに車線情報生成用プログラム |
JP6729611B2 (ja) | 2018-02-01 | 2020-07-22 | 株式会社デンソー | 車両用画像データ生成装置、走行軌道データ生成システム、区間画像データ生成プログラム及び記憶媒体 |
JP6732819B2 (ja) | 2018-02-07 | 2020-07-29 | 株式会社 ミックウェア | 車載装置、進行方路判定方法及びプログラム |
JP2019197467A (ja) * | 2018-05-11 | 2019-11-14 | トヨタ自動車株式会社 | 車両制御装置 |
JP2020008681A (ja) | 2018-07-06 | 2020-01-16 | パイオニア株式会社 | データ構造 |
US11763950B1 (en) * | 2018-08-16 | 2023-09-19 | Clarify Health Solutions, Inc. | Computer network architecture with machine learning and artificial intelligence and patient risk scoring |
JP7136043B2 (ja) * | 2018-08-31 | 2022-09-13 | 株式会社デンソー | 交差点内の走行軌道データ生成装置及び走行軌道データ生成プログラム |
US11762869B1 (en) * | 2018-09-28 | 2023-09-19 | Splunk Inc. | Generating journey flow visualization with node placement based on shortest distance to journey start |
US11143513B2 (en) * | 2018-10-19 | 2021-10-12 | Baidu Usa Llc | Labeling scheme for labeling and generating high-definition map based on trajectories driven by vehicles |
CN109976332A (zh) * | 2018-12-29 | 2019-07-05 | 惠州市德赛西威汽车电子股份有限公司 | 一种用于无人驾驶的高精度地图模型及自主导航系统 |
JP2020201649A (ja) * | 2019-06-07 | 2020-12-17 | トヨタ自動車株式会社 | 地図生成装置、地図生成方法及び地図生成用コンピュータプログラム |
CN110599570B (zh) * | 2019-09-17 | 2022-09-20 | 武汉中海庭数据技术有限公司 | 基于众包数据开放场景下的地图生成方法及系统 |
US11830246B2 (en) * | 2020-05-01 | 2023-11-28 | CACI, Inc.—Federal | Systems and methods for extracting and vectorizing features of satellite imagery |
CN111489571B (zh) * | 2020-05-12 | 2021-11-23 | 东风汽车集团有限公司 | 一种基于v2x的车辆交叉口优先通行方法及系统 |
JP7380532B2 (ja) * | 2020-11-16 | 2023-11-15 | トヨタ自動車株式会社 | 地図生成装置、地図生成方法及び地図生成用コンピュータプログラム |
JP7435483B2 (ja) * | 2021-01-12 | 2024-02-21 | トヨタ自動車株式会社 | 地図生成装置、地図生成方法及び地図生成用コンピュータプログラム |
-
2020
- 2020-10-06 JP JP2020169279A patent/JP7287373B2/ja active Active
-
2021
- 2021-09-28 CN CN202111140735.0A patent/CN114383594B/zh active Active
- 2021-10-01 US US17/491,800 patent/US11835359B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101988831A (zh) * | 2009-08-03 | 2011-03-23 | 阿尔派株式会社 | 导航装置及其道路信息提示方法 |
CN109949594A (zh) * | 2019-04-29 | 2019-06-28 | 北京智行者科技有限公司 | 实时的交通灯识别方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7287373B2 (ja) | 2023-06-06 |
JP2022061336A (ja) | 2022-04-18 |
US20220107205A1 (en) | 2022-04-07 |
CN114383594A (zh) | 2022-04-22 |
US11835359B2 (en) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112734852B (zh) | 一种机器人建图方法、装置及计算设备 | |
US20200386567A1 (en) | Map generation device, map generation method, and map generation ocmputer program | |
CN105512646B (zh) | 一种数据处理方法、装置及终端 | |
US9129163B2 (en) | Detecting common geographic features in images based on invariant components | |
CN112667837A (zh) | 图像数据自动标注方法及装置 | |
CN111169468B (zh) | 一种自动泊车的系统及方法 | |
US20220155097A1 (en) | Apparatus, method, and computer program for generating map | |
Mi et al. | A two-stage approach for road marking extraction and modeling using MLS point clouds | |
CN107430815A (zh) | 用于自动识别停车区的方法和系统 | |
CN111414826B (zh) | 一种地标箭头的识别方法、设备及存储介质 | |
CN108364466A (zh) | 一种基于无人机交通视频的车流量统计方法 | |
JP7207359B2 (ja) | 道路領域補正装置、道路領域補正方法及び道路領域補正用コンピュータプログラム | |
JP2021140764A (ja) | データ融合方法、装置及びデータ処理装置 | |
Bu et al. | A UAV photography–based detection method for defective road marking | |
CN112613668A (zh) | 基于人工智能的景区危险区域管控方法 | |
Shan et al. | Unmanned aerial vehicle (UAV)-Based pavement image stitching without occlusion, crack semantic segmentation, and quantification | |
CN114383594B (zh) | 地图生成装置、地图生成方法以及地图生成用计算机程序产品 | |
CN115457084A (zh) | 一种多相机目标检测跟踪方法、装置 | |
CN115035251A (zh) | 一种基于领域增强合成数据集的桥面车辆实时追踪方法 | |
TW202022804A (zh) | 路面影像重建與載具定位之方法與系統 | |
CN117789148A (zh) | 车道线检测方法、系统、设备及存储介质 | |
CN116824457A (zh) | 基于全景视频中移动目标自动挂牌方法及相关装置 | |
CN114926851A (zh) | 一种表格图片中表格结构的识别方法、系统及存储介质 | |
CN115984321A (zh) | 测速方法、装置、设备及存储介质 | |
US20240426987A1 (en) | Method for calibration of multiple lidars, and computer program recorded on record-medium for executing method therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |