CN110068818A - 通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法 - Google Patents
通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法 Download PDFInfo
- Publication number
- CN110068818A CN110068818A CN201910367434.8A CN201910367434A CN110068818A CN 110068818 A CN110068818 A CN 110068818A CN 201910367434 A CN201910367434 A CN 201910367434A CN 110068818 A CN110068818 A CN 110068818A
- Authority
- CN
- China
- Prior art keywords
- radar
- target
- signal receiving
- measured target
- millimeter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
- G01S13/92—Radar or analogous systems specially adapted for specific applications for traffic control for velocity measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/414—Discriminating targets with respect to background clutter
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/415—Identification of targets based on measurements of movement associated with the target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Radar Systems Or Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提出一种通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，包括：S1，设置第一路口检测系统，第一毫米波雷达信号输出端连接第一单片机雷达信号接收端，第一高清摄像头信号输出端连接第一嵌入式GPU摄像信号接收端，S2，数据库服务器收集路口的车辆和行人数据，收集全部毫米波雷达采集的数据，并通过毫米波雷达输出被测目标的类型，将被测目标的类型进行判断，S3，利用已经训练的深度神经网络对高清摄像头采集的图像连续图像帧进行目标识别，同时结合高清摄像头的标定参数，计算被测目标位置及速度参数；通过基于卡尔曼滤波方法，对运动状态下的被测目标状态进行跟踪和滤波；再根据卡尔曼滤波的估计结果进行目标生命周期管理。
Description
技术领域
本发明涉及计算机图像识别领域，尤其涉及一种通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法。
背景技术
目前，目前路侧端主要利用24GHz雷达(通称“微波检测器”)或车辆图像检测器(通称“卡口”)来检测交通路口的目标物，然而一方面，无论是所使用24GHz雷达还是车辆图像检测器，由于其软硬瓶颈，其本身测距和测速精度都相对较低；而另一方面，单一传感器的目标辨识率及环境适应性也相对不足。因此总体来看，现有的检测技术并不足以支撑未来自动驾驶汽车的车路协同感知。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法。
为了实现本发明的上述目的，本发明提供了一种通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，包括：
S1，设置第一路口检测系统，第一毫米波雷达信号输出端连接第一单片机雷达信号接收端，第一高清摄像头信号输出端连接第一嵌入式GPU摄像信号接收端，第一单片机信号输出端连接第一交换机雷达信号接收端，第一嵌入式GPU信号输出端连接第一交换机摄像信号接收端；设置第二路口检测系统，第二毫米波雷达信号输出端连接第二单片机雷达信号接收端，第二高清摄像头信号输出端连接第二嵌入式GPU摄像信号接收端，第二单片机信号输出端连接第二交换机雷达信号接收端，第二嵌入式GPU信号输出端连接第二交换机摄像信号接收端；设置第N路口检测系统，第N毫米波雷达信号输出端连接第N单片机雷达信号接收端，第N高清摄像头信号输出端连接第N嵌入式GPU摄像信号接收端，第N单片机信号输出端连接第N交换机雷达信号接收端，第N嵌入式GPU信号输出端连接第N交换机摄像信号接收端；第一交换机信号输出端连接总交换机第一信号接收端，第二交换机信号输出端连接总交换机第二信号接收端，第N交换机信号输出端连接总交换机第N信号接收端，总交换机信号输出端连接数据库服务器信号接收端；
S2，数据库服务器收集路口的车辆和行人数据，收集全部毫米波雷达采集的数据，并通过毫米波雷达输出被测目标的类型，将被测目标的类型进行判断，确定被测目标的类型，根据该类型扫描被测目标的宽度和长度，在相应路口出现的概率，并且通过高清摄像头和毫米波雷达融合方法计算被测目标距路面原点相对位置，根据被测目标在路面坐标系内的移动时间计算相对速度，通过高清摄像头输出被测路口的图像信息；
S3，利用已经训练的深度神经网络对高清摄像头采集的图像连续图像帧进行目标识别，同时结合高清摄像头的标定参数，计算被测目标位置及速度参数；通过基于卡尔曼滤波方法，对运动状态下的被测目标状态进行跟踪和滤波；再根据卡尔曼滤波的估计结果进行目标生命周期管理。
优选的，所述S2包括：
S2-1，根据被测目标实际运动情况对毫米波雷达输出的被测目标信息进行实时筛选；
S2-2，毫米波雷达发射的雷达信号伴随着虚假目标，其中虚假目标通过毫米波雷达和高清摄像头采集的树木信息、围栏信息和电线杆信息，通过实时采集的雷达数据和图像数据，筛选剔除固定不变的树木信息、围栏信息和电线杆信息；
S2-3，根据毫米波雷达检测的固定不变的树木信息、围栏信息和电线杆信息被测目标宽度、长度、位置及置信度信息对检测的被测目标进行第一轮筛选；接着利用卡尔曼滤波算法，对连续检出的目标进行跟踪和滤波；根据卡尔曼滤波的估计结果进行目标生命周期管理；
S2-4在得到第一路口第一毫米波雷达和第一高清摄像头和第二路口第二毫米波雷达和第二高清摄像头的被测目标相互之间没有关联并且相互独立状态下得到相应检测结果后，利用Elman神经网络对两个没有关联的被测目标信息进行融合，不匹配状态下则剔除该被测目标。
优选的，所述S3包括：
对于相互之间具备关联的被测目标，通过如下方法进行检测，
S3-1，将每个高清摄像头中采集的一帧图像，输入到其对应嵌入式GPU的深度学习SSD模型中，该模型的核心为修改且已经训练的检测网络VGG16；
S3-2，抽取检测网络中卷积层Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2层的特征映射feature map，然后分别在这些卷积层特征映射feature map的每一个特征点构造6个不同尺度大小的边界框Boundingbox，然后分别对特征点构造的边界框进行检测和分类，生成多个边界框Boundingbox；
S3-3，将不同特征映射feature map所生成的边界框Boundingbox进行结合操作，经过非极大值抑制方法NMS来抑制一部分重叠的边界框Boundingbox被测目标或者匹配后不正确的边界框Boundingbox，得到最终车辆和行人数据被测目标的检测结果。
优选的，所述S3-1包括：
S3-A，将检测网络VGG16的全链接层FC6和FC7转换为卷积层Conv6和Conv7；
S3-B，去掉检测网络VGG16的防止过拟合Droprout层和全链接层FC8；
S3-C，采用扩展卷积或带孔卷积Atrous算法；
S3-D，将检测网络VGG16的池化层Pool5的卷积核步长Stride由2*2-S2变为3*3-S1，其中S2为第二卷积核步长，S1为第一卷积核步长。
优选的，所述S2-3还包括：
当同时捕获到一帧图像和一帧雷达报文时，基于深度学习的SSD神经网络模型将框出图像中所有存在的被测目标位置并给出被测目标类别，由此得到被测目标在图像中的像素坐标；利用高清摄像头标定参数，将每个被测目标的像素坐标转换为大地平面坐标，再根据连续图像中被测目标的位置变化，计算得到每个被测目标的速率；采用卡尔曼滤波方法，基于被测目标上一帧图像的预测值和当前帧图像的检测值进行被测目标状态参数的最优估计，对于预测值和检测值差值大于某一阈值的被测目标，则认为当前检测结果不可靠，直接以预测值作为结果输出，并使被测目标的生命周期减1。
优选的，所述S2-3还包括：
从毫米波雷达给出的多个被测目标信息中，首先剔除宽度、长度、位置明显不符合被测目标客观参数范围，以及置信值低于某设定阈值的目标；接着采用卡尔曼滤波方法，计算被测目标上一帧报文参数的预测值，并将被测目标和当前帧报文的检测值进行对比，若两者相差小于某一阈值，则直接将毫米波雷达当前帧报文参数作为结果输出，若预测值和检测值大于某一阈值，则认为毫米波雷达当前检测结果不可靠，结合预测值和检测值得到最优估计值，并使被测目标的生命周期减1。
优选的，所述S2-3还包括：
将全部毫米波雷达和高清摄像头得到的被测目标级状态信息通过有线或无线网络传回数据库服务器，首先对全部毫米波雷达和高清摄像头中，位置和速度参数接近的目标进行关联匹配，对于被测目标类别，以图像检测结果作为最终输出，同时将图像检测和雷达检测得到的目标物状态参数输入Elman神经网络输入层，将神经网络输出层结果当做目标的最终状态参数。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明提供交通路口车辆及行人检测方法，采用77GHz毫米波雷达和工业级高清摄像头向融合的方案，极大地提升了现有检测方案对于目标类别、距离及速度的检测精度，可有效支撑智能汽车车路协同感知技术的实现。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明图像检测工作流程图；
图2是本发明工作流程图；
图3是本发明系统原理图；
图4是本发明总体工作流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
检测交通路口车辆及行人通行情况，为自动驾驶汽车提供路口盲区信息，保证自动驾驶车辆的通行安全。
如图1所示，本发明专利公开一种交通路口车辆及行人检测方法，该方法利用77GHz毫米波雷达和工业级高清摄像头对路口交通情况进行检测。其中，毫米波雷达输出被测目标的类型、宽度、长度、存在概率、距路面原点相对位置及相对速度，摄像头则输出被测路口的图像信息。
S1，设置第一路口检测系统，第一毫米波雷达信号输出端连接第一单片机雷达信号接收端，第一高清摄像头信号输出端连接第一嵌入式GPU摄像信号接收端，第一单片机信号输出端连接第一交换机雷达信号接收端，第一嵌入式GPU信号输出端连接第一交换机摄像信号接收端；设置第二路口检测系统，第二毫米波雷达信号输出端连接第二单片机雷达信号接收端，第二高清摄像头信号输出端连接第二嵌入式GPU摄像信号接收端，第二单片机信号输出端连接第二交换机雷达信号接收端，第二嵌入式GPU信号输出端连接第二交换机摄像信号接收端；设置第N路口检测系统，第N毫米波雷达信号输出端连接第N单片机雷达信号接收端，第N高清摄像头信号输出端连接第N嵌入式GPU摄像信号接收端，第N单片机信号输出端连接第N交换机雷达信号接收端，第N嵌入式GPU信号输出端连接第N交换机摄像信号接收端；第一交换机信号输出端连接总交换机第一信号接收端，第二交换机信号输出端连接总交换机第二信号接收端，第N交换机信号输出端连接总交换机第N信号接收端，总交换机信号输出端连接数据库服务器信号接收端；设置N个路口检测系统，对路口车辆和行人数据进行汇总收集，通过数据库服务器存储并进行深度学习；
S2，数据库服务器收集路口的车辆和行人数据，收集全部毫米波雷达采集的数据，并通过毫米波雷达输出被测目标的类型，将被测目标的类型进行判断，确定被测目标的类型，根据该类型扫描被测目标的宽度和长度，在相应路口出现的概率，并且通过高清摄像头和毫米波雷达融合方法计算被测目标距路面原点相对位置，根据被测目标在路面坐标系内的移动时间计算相对速度，通过高清摄像头输出被测路口的图像信息；
S2-1，根据被测目标实际运动情况对毫米波雷达输出的被测目标信息进行实时筛选；
S2-2，毫米波雷达发射的雷达信号伴随着虚假目标，其中虚假目标通过毫米波雷达和高清摄像头采集的树木信息、围栏信息和电线杆信息，通过实时采集的雷达数据和图像数据，筛选剔除固定不变的树木信息、围栏信息和电线杆信息；
S2-3，根据毫米波雷达检测的固定不变的树木信息、围栏信息和电线杆信息被测目标宽度、长度、位置及置信度信息对检测的被测目标进行第一轮筛选；接着利用卡尔曼滤波算法，对连续检出的目标进行跟踪和滤波；根据卡尔曼滤波的估计结果进行目标生命周期管理；
S2-4在得到第一路口第一毫米波雷达和第一高清摄像头和第二路口第二毫米波雷达和第二高清摄像头的被测目标相互之间没有关联并且相互独立状态下得到相应检测结果后，利用Elman神经网络对两个没有关联的被测目标信息进行融合，不匹配状态下则剔除该被测目标。
S3，利用已经训练的深度神经网络对高清摄像头采集的图像连续图像帧进行目标识别，同时结合高清摄像头的标定参数，计算被测目标位置及速度参数；通过基于卡尔曼滤波方法，对运动状态下的被测目标状态进行跟踪和滤波；再根据卡尔曼滤波的估计结果进行目标生命周期管理。利用深度学习方法，实现基于视觉图像的目标物类型识别及目标物测速及测距功能:首先利用已经训练的深度神经网络对图像连续图像帧进行目标识别，同时结合摄像头的标定参数，计算被测目标物位置及速度参数；接着基于卡尔曼滤波方法，对运动目标状态进行跟踪和滤波；最后再根据卡尔曼滤波的估计结果进行目标生命周期管理。
所述目标生命周期管理是采用生命周期的形式，对视频和毫米波雷达检测中的漏检(或误检)状态进行修正，以此削弱目标状态值在检测结果中的跳变。在目标的预设生命周期内，若目标漏检(或误检)，则认为原目标仍然存在，并利用卡尔曼滤波预测(或修正)其状态值；若超出目标的生命周期，则认为原目标已消失，对目标重新赋予一个ID。值得一提的是，以上当卡尔曼滤波的估计值与传感器检测值的差值超过某一特定阈值时，则将被测目标的生命周期减1。
该方法根据实际情况对毫米波雷达输出的目标信息进行筛选。需要说明的是，雷达给出的信号往往伴随着一些虚假目标，一般包括树木、围栏、电杆等，因此首先根据雷达给出的目标宽度、长度、位置及置信度信息对检出目标进行第一轮筛选；接着利用卡尔曼滤波算法，对连续检出的目标进行跟踪和滤波；最后再根据卡尔曼滤波的估计结果进行目标生命周期管理。
在得到两类传感器的目标级检测结果后，再利用Elman神经网络对两个目标信息进行融合。
如图2和3所示，基于Vgg16的SSD网络(图像识别)：
S3-1，将每个高清摄像头中采集的一帧图像，将一帧图片(300*300)，输入到其对应嵌入式GPU的深度学习SSD模型中，该模型的核心为修改且已经训练的检测网络VGG16；(1.此处检测模型是放置在每个摄像头对应的嵌入式GPU里的，并不是在后台；2.检测模型是SSD，VGG16是SSD的一部分)
所述S3-1包括：
S3-A，将检测网络VGG16的全链接层FC6和FC7转换为卷积层Conv6和Conv7；
S3-B，去掉检测网络VGG16的防止过拟合Droprout层和全链接层FC8；
S3-C，采用扩展卷积或带孔卷积Atrous算法；
S3-D，将检测网络VGG16的池化层Pool5的卷积核步长Stride由2*2-S2变为3*3-S1，其中S2为第二卷积核步长，S1为第一卷积核步长。
(2*2-S2，是指用一个2*2的卷积核，每次平移步长为2；3*3-S1,是指用一个3*3的卷积核，每次平移步长为1)
S3-2，抽取检测网络中卷积层Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2层的特征映射feature map，然后分别在这些卷积层特征映射feature map的每一个特征点构造6个不同尺度大小的边界框Boundingbox，然后分别对特征点构造的边界框进行检测和分类，生成多个边界框Boundingbox；
S3-3，将不同特征映射feature map所生成的边界框Boundingbox进行结合操作，经过非极大值抑制方法NMS来抑制一部分重叠的边界框Boundingbox被测目标或者匹配后不正确的边界框Boundingbox，得到最终车辆和行人数据被测目标的检测结果。
Elman神经网络(目标融合)：
如图4所示，图中，输入层为由不同传感器得到的目标的状态参数(横、纵坐标及速度)，输出层为目标最终的状态参数。
进行系统架构设计，实现路口车辆和行人的检测分析，
当同时捕获到一帧图像图像和一帧雷达报文时，一方面，基于深度学习的SSD神经网络模型将框出图像中所有存在的目标位置并给出目标类别，由此得到被检出目标在图像中的像素坐标；利用摄像头标定参数，将各目标物的像素坐标转换为大地平面坐标，再根据连续图像中目标的位置变化，计算得到各目标物的速率；采用卡尔曼滤波方法，基于目标上一帧图像的预测值和当前帧图像的检测值进行目标状态参数的最优估计，对于预测值和检测值差值大于某一阈值的目标，则认为当前检测结果不可靠，直接以预测值作为结果输出，并使目标物的生命周期减1。
另一方面，从雷达给出的多个目标信息中，首先剔除宽度、长度、位置明显不符合被测目标客观参数范围，以及置信值低于某设定阈值的目标；接着采用卡尔曼滤波方法，计算目标上一帧报文参数的预测值，并将之和当前帧报文的检测值进行对比，若两者相差小于某一阈值，则直接将雷达当前帧报文参数作为结果输出，若预测值和检测值大于某一阈值，则认为雷达当前检测结果不可靠，结合预测值和检测值得到最优估计值，并使目标物的生命周期减1。
将以上传感器得到的目标级状态信息通过有线或无线网络传回后台终端，首先对不同传感器中，位置和速度参数接近的目标进行关联匹配(认为是同一目标)。对于目标物类别，以图像图像检测结果作为最终输出，同时将图像检测和雷达检测得到的目标物状态参数输入Elman神经网络输入层，将神经网络输出层结果当做目标的最终状态参数。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (7)
1.一种通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，其特征在于，包括：
S1，设置第一路口检测系统，第一毫米波雷达信号输出端连接第一单片机雷达信号接收端，第一高清摄像头信号输出端连接第一嵌入式GPU摄像信号接收端，第一单片机信号输出端连接第一交换机雷达信号接收端，第一嵌入式GPU信号输出端连接第一交换机摄像信号接收端；设置第二路口检测系统，第二毫米波雷达信号输出端连接第二单片机雷达信号接收端，第二高清摄像头信号输出端连接第二嵌入式GPU摄像信号接收端，第二单片机信号输出端连接第二交换机雷达信号接收端，第二嵌入式GPU信号输出端连接第二交换机摄像信号接收端；设置第N路口检测系统，第N毫米波雷达信号输出端连接第N单片机雷达信号接收端，第N高清摄像头信号输出端连接第N嵌入式GPU摄像信号接收端，第N单片机信号输出端连接第N交换机雷达信号接收端，第N嵌入式GPU信号输出端连接第N交换机摄像信号接收端；第一交换机信号输出端连接总交换机第一信号接收端，第二交换机信号输出端连接总交换机第二信号接收端，第N交换机信号输出端连接总交换机第N信号接收端，总交换机信号输出端连接数据库服务器信号接收端；
S2，数据库服务器收集路口的车辆和行人数据，收集全部毫米波雷达采集的数据，并通过毫米波雷达输出被测目标的类型，将被测目标的类型进行判断，确定被测目标的类型，根据该类型扫描被测目标的宽度和长度，在相应路口出现的概率，并且通过高清摄像头和毫米波雷达融合方法计算被测目标距路面原点相对位置，根据被测目标在路面坐标系内的移动时间计算相对速度，通过高清摄像头输出被测路口的图像信息；
S3，利用已经训练的深度神经网络对高清摄像头采集的图像连续图像帧进行目标识别，同时结合高清摄像头的标定参数，计算被测目标位置及速度参数；通过基于卡尔曼滤波方法，对运动状态下的被测目标状态进行跟踪和滤波；再根据卡尔曼滤波的估计结果进行目标生命周期管理。
2.根据权利要求1所述的通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，其特征在于，所述S2包括：
S2-1，根据被测目标实际运动情况对毫米波雷达输出的被测目标信息进行实时筛选；
S2-2，毫米波雷达发射的雷达信号伴随着虚假目标，其中虚假目标通过毫米波雷达和高清摄像头采集的树木信息、围栏信息和电线杆信息，通过实时采集的雷达数据和图像数据，筛选剔除固定不变的树木信息、围栏信息和电线杆信息；
S2-3，根据毫米波雷达检测的固定不变的树木信息、围栏信息和电线杆信息被测目标宽度、长度、位置及置信度信息对检测的被测目标进行第一轮筛选；接着利用卡尔曼滤波算法，对连续检出的目标进行跟踪和滤波；根据卡尔曼滤波的估计结果进行目标生命周期管理；
S2-4在得到第一路口第一毫米波雷达和第一高清摄像头和第二路口第二毫米波雷达和第二高清摄像头的被测目标相互之间没有关联并且相互独立状态下得到相应检测结果后，利用Elman神经网络对两个没有关联的被测目标信息进行融合，不匹配状态下则剔除该被测目标。
3.根据权利要求1所述的通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，其特征在于，所述S3包括：
对于相互之间具备关联的被测目标，通过如下方法进行检测，
S3-1，将每个高清摄像头中采集的一帧图像，输入到其对应嵌入式GPU的深度学习SSD模型中，该模型的核心为修改且已经训练的检测网络VGG16；
S3-2，抽取检测网络中卷积层Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2层的特征映射feature map，然后分别在这些卷积层特征映射feature map的每一个特征点构造6个不同尺度大小的边界框Boundingbox，然后分别对特征点构造的边界框进行检测和分类，生成多个边界框Boundingbox；
S3-3，将不同特征映射feature map所生成的边界框Boundingbox进行结合操作，经过非极大值抑制方法NMS来抑制一部分重叠的边界框Boundingbox被测目标或者匹配后不正确的边界框Boundingbox，得到最终车辆和行人数据被测目标的检测结果。
4.根据权利要求1所述的通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，其特征在于，所述S3-1包括：
S3-A，将检测网络VGG16的全链接层FC6和FC7转换为卷积层Conv6和Conv7；
S3-B，去掉检测网络VGG16的防止过拟合Droprout层和全链接层FC8；
S3-C，采用扩展卷积或带孔卷积Atrous算法；
S3-D，将检测网络VGG16的池化层Pool5的卷积核步长Stride由2*2-S2变为3*3-S1，其中S2为第二卷积核步长，S1为第一卷积核步长。
5.根据权利要求1所述的通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，其特征在于，所述S2-3还包括：
当同时捕获到一帧图像和一帧雷达报文时，基于深度学习的SSD神经网络模型将框出图像中所有存在的被测目标位置并给出被测目标类别，由此得到被测目标在图像中的像素坐标；利用高清摄像头标定参数，将每个被测目标的像素坐标转换为大地平面坐标，再根据连续图像中被测目标的位置变化，计算得到每个被测目标的速率；采用卡尔曼滤波方法，基于被测目标上一帧图像的预测值和当前帧图像的检测值进行被测目标状态参数的最优估计，对于预测值和检测值差值大于某一阈值的被测目标，则认为当前检测结果不可靠，直接以预测值作为结果输出，并使被测目标的生命周期减1。
6.根据权利要求5所述的通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，其特征在于，所述S2-3还包括：
从毫米波雷达给出的多个被测目标信息中，首先剔除宽度、长度、位置明显不符合被测目标客观参数范围，以及置信值低于某设定阈值的目标；接着采用卡尔曼滤波方法，计算被测目标上一帧报文参数的预测值，并将被测目标和当前帧报文的检测值进行对比，若两者相差小于某一阈值，则直接将毫米波雷达当前帧报文参数作为结果输出，若预测值和检测值大于某一阈值，则认为毫米波雷达当前检测结果不可靠，结合预测值和检测值得到最优估计值，并使被测目标的生命周期减1。
7.根据权利要求6所述的通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，其特征在于，所述S2-3还包括：
将全部毫米波雷达和高清摄像头得到的被测目标级状态信息通过有线或无线网络传回数据库服务器，首先对全部毫米波雷达和高清摄像头中，位置和速度参数接近的目标进行关联匹配，对于被测目标类别，以图像检测结果作为最终输出，同时将图像检测和雷达检测得到的目标物状态参数输入Elman神经网络输入层，将神经网络输出层结果当做目标的最终状态参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910367434.8A CN110068818A (zh) | 2019-05-05 | 2019-05-05 | 通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910367434.8A CN110068818A (zh) | 2019-05-05 | 2019-05-05 | 通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110068818A true CN110068818A (zh) | 2019-07-30 |
Family
ID=67369878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910367434.8A Pending CN110068818A (zh) | 2019-05-05 | 2019-05-05 | 通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110068818A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
| CN110556005A (zh) * | 2019-10-11 | 2019-12-10 | 成都纳雷科技有限公司 | 交通测速系统中用于提高捕获率的自适应跟踪方法及系统 |
| CN111123262A (zh) * | 2020-03-30 | 2020-05-08 | 江苏广宇科技产业发展有限公司 | 自动驾驶3d建模方法、装置及系统 |
| CN111754798A (zh) * | 2020-07-02 | 2020-10-09 | 上海电科智能系统股份有限公司 | 融合路侧激光雷达和视频实现车辆和周边障碍物探知方法 |
| CN111787481A (zh) * | 2020-06-17 | 2020-10-16 | 北京航空航天大学 | 一种基于5g的路车协调高精度感知方法 |
| CN111913175A (zh) * | 2020-07-02 | 2020-11-10 | 哈尔滨工程大学 | 一种传感器短暂失效下带补偿机制的水面目标跟踪方法 |
| CN112037543A (zh) * | 2020-09-14 | 2020-12-04 | 中德（珠海）人工智能研究院有限公司 | 基于三维建模的城市交通灯控制方法、装置、设备和介质 |
| CN112257698A (zh) * | 2020-12-23 | 2021-01-22 | 深圳佑驾创新科技有限公司 | 环视图车位检测结果的处理方法、装置、设备和存储介质 |
| CN112649803A (zh) * | 2020-11-30 | 2021-04-13 | 南京航空航天大学 | 一种基于互相关系数的摄像机与雷达目标匹配方法 |
| CN112907975A (zh) * | 2021-01-23 | 2021-06-04 | 四川九通智路科技有限公司 | 一种基于毫米波雷达与视频进行异常停车的检测方法 |
| CN112946628A (zh) * | 2021-02-08 | 2021-06-11 | 江苏中路工程技术研究院有限公司 | 一种基于雷达与视频融合的道路运行状态检测方法及系统 |
| CN113065428A (zh) * | 2021-03-21 | 2021-07-02 | 北京工业大学 | 基于特征选择的自动驾驶目标识别方法 |
| CN113343849A (zh) * | 2021-06-07 | 2021-09-03 | 西安恒盛安信智能技术有限公司 | 一种基于雷达和视频的融合感知设备 |
| CN114141018A (zh) * | 2021-12-15 | 2022-03-04 | 阿波罗智联(北京)科技有限公司 | 用于生成测试结果的方法、装置 |
| CN114779180A (zh) * | 2022-06-20 | 2022-07-22 | 成都瑞达物联科技有限公司 | 一种面向车路协同雷达的多径干扰镜像目标滤除方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008004077A2 (en) * | 2006-06-30 | 2008-01-10 | Toyota Jidosha Kabushiki Kaisha | Automotive drive assist system with sensor fusion of radar and camera and probability estimation of object existence for varying a threshold in the radar |
| CN105572663A (zh) * | 2014-09-19 | 2016-05-11 | 通用汽车环球科技运作有限责任公司 | 基于辅助传感器的分布式雷达目标检测 |
| WO2017126226A1 (ja) * | 2016-01-22 | 2017-07-27 | 日産自動車株式会社 | 車両の運転支援制御方法及び制御装置 |
| CN107235044A (zh) * | 2017-05-31 | 2017-10-10 | 北京航空航天大学 | 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法 |
| CN107609522A (zh) * | 2017-09-19 | 2018-01-19 | 东华大学 | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 |
| CN108010360A (zh) * | 2017-12-27 | 2018-05-08 | 中电海康集团有限公司 | 一种基于车路协同的自动驾驶环境感知系统 |
| CN108983219A (zh) * | 2018-08-17 | 2018-12-11 | 北京航空航天大学 | 一种交通场景的图像信息和雷达信息的融合方法及系统 |
| CN109459750A (zh) * | 2018-10-19 | 2019-03-12 | 吉林大学 | 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法 |
| CN109490890A (zh) * | 2018-11-29 | 2019-03-19 | 重庆邮电大学 | 一种面向智能车的毫米波雷达与单目相机信息融合方法 |
| CN109686108A (zh) * | 2019-02-19 | 2019-04-26 | 山东科技大学 | 一种车辆目标轨迹跟踪系统及车辆轨迹跟踪方法 |
| CN109685145A (zh) * | 2018-12-26 | 2019-04-26 | 广东工业大学 | 一种基于深度学习和图像处理的小物件检测方法 |
-
2019
- 2019-05-05 CN CN201910367434.8A patent/CN110068818A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008004077A2 (en) * | 2006-06-30 | 2008-01-10 | Toyota Jidosha Kabushiki Kaisha | Automotive drive assist system with sensor fusion of radar and camera and probability estimation of object existence for varying a threshold in the radar |
| CN105572663A (zh) * | 2014-09-19 | 2016-05-11 | 通用汽车环球科技运作有限责任公司 | 基于辅助传感器的分布式雷达目标检测 |
| WO2017126226A1 (ja) * | 2016-01-22 | 2017-07-27 | 日産自動車株式会社 | 車両の運転支援制御方法及び制御装置 |
| CN107235044A (zh) * | 2017-05-31 | 2017-10-10 | 北京航空航天大学 | 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法 |
| CN107609522A (zh) * | 2017-09-19 | 2018-01-19 | 东华大学 | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 |
| CN108010360A (zh) * | 2017-12-27 | 2018-05-08 | 中电海康集团有限公司 | 一种基于车路协同的自动驾驶环境感知系统 |
| CN108983219A (zh) * | 2018-08-17 | 2018-12-11 | 北京航空航天大学 | 一种交通场景的图像信息和雷达信息的融合方法及系统 |
| CN109459750A (zh) * | 2018-10-19 | 2019-03-12 | 吉林大学 | 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法 |
| CN109490890A (zh) * | 2018-11-29 | 2019-03-19 | 重庆邮电大学 | 一种面向智能车的毫米波雷达与单目相机信息融合方法 |
| CN109685145A (zh) * | 2018-12-26 | 2019-04-26 | 广东工业大学 | 一种基于深度学习和图像处理的小物件检测方法 |
| CN109686108A (zh) * | 2019-02-19 | 2019-04-26 | 山东科技大学 | 一种车辆目标轨迹跟踪系统及车辆轨迹跟踪方法 |
Non-Patent Citations (3)
| Title |
|---|
| 户晋文: "《基于视觉融合的车辆与行人目标检测及测距方法研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 曹伟: "《基于SSD的车辆检测与跟踪算法研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 杨良义、谢飞、陈涛: "《城市道路交通交叉路口的车路协同系统设计》", 《重庆理工大学学报(自然科学)》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110532896B (zh) * | 2019-08-06 | 2022-04-08 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
| CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
| CN110556005A (zh) * | 2019-10-11 | 2019-12-10 | 成都纳雷科技有限公司 | 交通测速系统中用于提高捕获率的自适应跟踪方法及系统 |
| CN111123262A (zh) * | 2020-03-30 | 2020-05-08 | 江苏广宇科技产业发展有限公司 | 自动驾驶3d建模方法、装置及系统 |
| CN111123262B (zh) * | 2020-03-30 | 2020-06-26 | 江苏广宇科技产业发展有限公司 | 自动驾驶3d建模方法、装置及系统 |
| CN111787481A (zh) * | 2020-06-17 | 2020-10-16 | 北京航空航天大学 | 一种基于5g的路车协调高精度感知方法 |
| CN111754798A (zh) * | 2020-07-02 | 2020-10-09 | 上海电科智能系统股份有限公司 | 融合路侧激光雷达和视频实现车辆和周边障碍物探知方法 |
| CN111913175A (zh) * | 2020-07-02 | 2020-11-10 | 哈尔滨工程大学 | 一种传感器短暂失效下带补偿机制的水面目标跟踪方法 |
| CN112037543A (zh) * | 2020-09-14 | 2020-12-04 | 中德（珠海）人工智能研究院有限公司 | 基于三维建模的城市交通灯控制方法、装置、设备和介质 |
| CN112649803A (zh) * | 2020-11-30 | 2021-04-13 | 南京航空航天大学 | 一种基于互相关系数的摄像机与雷达目标匹配方法 |
| CN112649803B (zh) * | 2020-11-30 | 2024-02-13 | 南京航空航天大学 | 一种基于互相关系数的摄像机与雷达目标匹配方法 |
| CN112257698A (zh) * | 2020-12-23 | 2021-01-22 | 深圳佑驾创新科技有限公司 | 环视图车位检测结果的处理方法、装置、设备和存储介质 |
| CN112907975A (zh) * | 2021-01-23 | 2021-06-04 | 四川九通智路科技有限公司 | 一种基于毫米波雷达与视频进行异常停车的检测方法 |
| CN112946628A (zh) * | 2021-02-08 | 2021-06-11 | 江苏中路工程技术研究院有限公司 | 一种基于雷达与视频融合的道路运行状态检测方法及系统 |
| CN113065428A (zh) * | 2021-03-21 | 2021-07-02 | 北京工业大学 | 基于特征选择的自动驾驶目标识别方法 |
| CN113343849A (zh) * | 2021-06-07 | 2021-09-03 | 西安恒盛安信智能技术有限公司 | 一种基于雷达和视频的融合感知设备 |
| CN114141018A (zh) * | 2021-12-15 | 2022-03-04 | 阿波罗智联(北京)科技有限公司 | 用于生成测试结果的方法、装置 |
| CN114141018B (zh) * | 2021-12-15 | 2023-02-28 | 阿波罗智联(北京)科技有限公司 | 用于生成测试结果的方法、装置 |
| CN114779180A (zh) * | 2022-06-20 | 2022-07-22 | 成都瑞达物联科技有限公司 | 一种面向车路协同雷达的多径干扰镜像目标滤除方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110068818A (zh) | 通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法 | |
| WO2021170030A1 (zh) | 一种用于目标追踪的方法、设备及系统 | |
| CN110532896B (zh) | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 | |
| US9154741B2 (en) | Apparatus and method for processing data of heterogeneous sensors in integrated manner to classify objects on road and detect locations of objects | |
| KR102197946B1 (ko) | 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법 | |
| CN102110376B (zh) | 基于计算机视觉的路边停车位检测装置 | |
| CN103176185B (zh) | 用于检测道路障碍物的方法及系统 | |
| JP6571545B2 (ja) | 物体検出装置および物体検出方法 | |
| US5757287A (en) | Object recognition system and abnormality detection system using image processing | |
| CN110264495B (zh) | 一种目标跟踪方法及装置 | |
| KR100459476B1 (ko) | 차량의 대기 길이 측정 장치 및 방법 | |
| CN111932901B (zh) | 道路车辆跟踪检测设备、方法及存储介质 | |
| WO2019129255A1 (zh) | 一种目标跟踪方法及装置 | |
| CN112149550A (zh) | 一种基于多传感器融合的自动驾驶车辆3d目标检测方法 | |
| CN104063882B (zh) | 一种基于双目的车辆视频测速方法 | |
| CN108230254A (zh) | 一种自适应场景切换的高速交通全车道线自动检测方法 | |
| KR102472075B1 (ko) | 실시간 도로영상 및 레이다 신호를 분석한 결과에 기초하여 돌발상황 자동검지 서비스를 지원하는 시스템 및 방법 | |
| EP4105908A1 (en) | Method, apparatus, server, and computer program for collision accident prevention | |
| CN110083099B (zh) | 一种符合汽车功能安全标准自动驾驶架构系统和工作方法 | |
| KR20210158037A (ko) | 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법 | |
| CN106023594A (zh) | 一种车位遮挡的判定方法、装置及车辆管理系统 | |
| CN113223276A (zh) | 一种基于视频识别的行人跨栏行为警报方法及装置 | |
| CN105469604A (zh) | 一种基于监控图像的隧道内车辆检测方法 | |
| CN104463913A (zh) | 违规停车智能检测装置与方法 | |
| CN113313182A (zh) | 一种基于雷达和视频融合的目标识别方法及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190730 |
|
| RJ01 | Rejection of invention patent application after publication |