CN111045000A - 监测系统和方法 - Google Patents
监测系统和方法 Download PDFInfo
- Publication number
- CN111045000A CN111045000A CN201811184145.6A CN201811184145A CN111045000A CN 111045000 A CN111045000 A CN 111045000A CN 201811184145 A CN201811184145 A CN 201811184145A CN 111045000 A CN111045000 A CN 111045000A
- Authority
- CN
- China
- Prior art keywords
- radar
- coordinate system
- attribute information
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 307
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000012545 processing Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 description 33
- 238000001514 detection method Methods 0.000 description 22
- 230000004927 fusion Effects 0.000 description 18
- 230000014509 gene expression Effects 0.000 description 16
- 230000009466 transformation Effects 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 14
- 238000013519 translation Methods 0.000 description 11
- 238000001914 filtration Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar Systems Or Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种监测系统和方法。该系统，包括：摄像头、雷达和处理模块，摄像头用于采集图像监测区域的图像数据；雷达用于对雷达监测区域进行扫描，以采集雷达监测区域的点云数据；处理模块，用于根据图像数据确定目标对象的第一属性信息，根据点云数据确定目标对象的第二属性信息，将目标对象的第一属性信息与第二属性信息相关联；其中，目标对象为同一时刻采集到的图像数据和点云数据中均包括的对象。根据本发明实施例提供的监测系统和方法，扩大了监测区域，提高了监测的可靠性。
Description
技术领域
本发明涉及计算机领域，尤其涉及一种监测系统和方法。
背景技术
随着经济高速发展，城市交通也随之迅速发展。但是由于道路上的车辆日益增多，交通管理面临的问题也日益增多。智能交通、自动驾驶和道路监控等手段，能够有效解决交通管理所面临的问题。而在智能交通、自动驾驶和道路监控等应用中，对周围环境的感知以及监测指定区域中的物体的信息非常关键。
目前，大多采用摄像头监测指定区域，即通过对摄像头采集的监测区域内的图像进行处理，从而实现对摄像头监测区域内的车辆、行人等物体进行监测。
但是，摄像头监测的区域范围有限，存在所监测的区域范围相对较小的问题。
发明内容
本发明实施例提供了一种监测系统和方法，扩大了监测区域，提高监测的可靠性。
一种监测系统，包括：摄像头、雷达和处理模块，
摄像头用于采集图像监测区域的图像数据；
雷达用于对雷达监测区域进行扫描，以采集雷达监测区域的点云数据；
处理模块，用于根据图像数据确定目标对象的第一属性信息，根据点云数据确定目标对象的第二属性信息，将目标对象的第一属性信息与第二属性信息相关联，其中，目标对象为同一时刻采集到的图像数据和点云数据中均包括的对象。
对象包括车辆、行人中的至少一种，第一属性信息包括位置、形状、颜色中的至少一种，第二属性信息包括位置、速度、尺寸、反射强度中的至少一种。
处理模块还用于：
分别确定各第一对象、第二对象的位置坐标，第一对象为图像数据中包括的对象，第二对象为点云数据中包括的对象；
将同一时刻采集到的图像数据和点云数据中，位置坐标的距离在预设范围内的第一对象和第二对象作为同一个对象，记为目标对象；
位置坐标为世界坐标系或参照物坐标系下的坐标，世界坐标系为以地心为原点的三维坐标系或经纬度坐标系，参照物坐标系为以预定参照物为原点的三维坐标系；
第一对象的位置坐标由第一对象在图像坐标系中的坐标转化得到，图像坐标系为以图像左上角为原点的二维坐标系。
第二对象的位置坐标由第二对象在雷达坐标系中的坐标转化得到，雷达坐标系为以雷达为原点的三维坐标系。
摄像头和雷达均设置于支撑部件上；
雷达通过发射的扇形扫描面扫描雷达监测区域。
摄像头包括前向摄像头和后向摄像头，前向摄像头与后向摄像头背对设置。
雷达为激光雷达、毫米波雷达或超声波雷达。
处理模块，还用于将目标对象的属性信息发送至雷达监测区域附近的对象。
一种监测方法，包括：
摄像头采集图像监测区域的图像数据；
雷达对雷达监测区域进行扫描，以采集雷达监测区域的点云数据；
根据图像数据确定目标对象的第一属性信息，根据点云数据确定目标对象的第二属性信息；
将目标对象的第一属性信息与第二属性信息相关联；
其中，目标对象为同一时刻采集到的图像数据和点云数据中均包括的对象。
对象包括车辆、行人中的至少一种，第一属性信息包括位置、形状、颜色中的至少一种，第二属性信息包括位置、速度、尺寸、反射强度中的至少一种。
监测方法还包括：
分别确定各第一对象、第二对象的位置坐标，第一对象为图像数据中包括的对象，第二对象为点云数据中包括的对象；
将同一时刻采集到的图像数据和点云数据中，位置坐标的距离在预设范围内的第一对象和第二对象作为同一个对象，记为目标对象；
位置坐标为世界坐标系或参照物坐标系下的坐标，世界坐标系为以地心为原点的三维坐标系或经纬度坐标系，参照物坐标系为以预定参照物为原点的三维坐标系；
第一对象的位置坐标由第一对象在图像坐标系中的坐标转化得到，图像坐标系为以图像左上角为原点的二维坐标系；
第二对象的位置坐标由第二对象在雷达坐标系中的坐标转化得到，雷达坐标系为以雷达为原点的三维坐标系。
摄像头和雷达均设置于支撑部件上；
雷达通过发射的扇形扫描面扫描雷达监测区域。
摄像头包括前向摄像头和后向摄像头，前向摄像头与后向摄像头背对设置。
雷达为激光雷达、毫米波雷达或超声波雷达。
监测方法还包括：
将目标对象的属性信息发送至雷达监测区域附近的对象。
一种监测系统，包括：摄像头和雷达，
摄像头发送采集的图像监测区域的图像数据；
雷达对雷达监测区域进行扫描，发送采集的雷达监测区域的点云数据，
以使根据图像数据确定目标对象的第一属性信息，根据点云数据确定目标对象的第二属性信息，将目标对象的第一属性信息与第二属性信息相关联；
其中，目标对象为同一时刻采集到的图像数据和点云数据中均包括的对象。
根据本发明实施例提供的监测系统和方法，通过将同一时刻采集到的图像数据和点云数据中均包括的对象的第一属性信息和第二属性信息进行关联，既扩大了监测区域，又提高了监测的可靠性。
附图说明
从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明其中，相同或相似的附图标记表示相同或相似的特征。
图1是本发明实施例提供的监测系统的场景示意图；
图2是本发明另一个实施例提供的监测系统的场景示意图；
图3是本发明再一个实施例提供的监测系统的场景示意图；
图4是本发明实施例提供的监测方法的流程示意图；
图5是本发明实施例提供的监测系统的结构示意图；
图6是本发明另一个实施例提供的监测系统的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在智能交通、自动驾驶和道路监控等多种应用场景下，对周围环境的感知至关重要。目前可以采用摄像头监测指定区域，以实现感知指定区域内的环境。
参见图1，图1是本发明实施例提供的监测系统的场景示意图。摄像头C1设置于支撑部件S上，支撑部件S设置于道路旁。
支撑部件S为固定于地面的L型支撑杆。支撑部件可以是杆状结构，也可以是能够起到连接并能够承受相应拉力和压力的其他结构件。
在本发明的实施例中，摄像头主要包括镜头和图像传感器。景物通过镜头生成的光学图像投射到图像传感器表面上，然后转为电信号，再经过模数转换变为数字图像信号。数字图像信号经数字信号处理芯片处理后即可得到景物的图像。
在本发明的实施例中，摄像头用于采集图像监测区域的图像。其中，图像监测区域也就是摄像头的图像采集区域。作为一个示例，摄像头C1安装在支撑部件S上，且摄像头C1的光轴与道路成一定夹角。继续参见图1，摄像头C1的图像监测区域为图1中斜线表示的平面区域A。也就是说，摄像头C1用于采集区域A的图像。
在本发明的实施例中，通过利用基于图像检测的计算机视觉算法对摄像头C1采集的图像进行对象检测，可以获取图像坐标系下图像监测区域中各对象的属性信息。图像坐标系为以图像左上角为原点的二维坐标系。其中，图像监测区域中的对象包括车辆、行人中的至少一种。图像监测区域中对象的属性信息包括图像监测区域中对象的位置信息、形状信息和颜色信息等信息。
作为一个示例，图像坐标系下图像监测区域中包括的对象的属性信息包括图像监测区域中的对象在图像坐标系中的位置信息、形状信息和颜色信息。其中，图像监测区域中的对象可以为移动对象或静止对象，例如：车辆、行人、建筑物和路灯等对象。
可以利用基于机器学习的检测算法，实现对摄像头C1拍摄的图像进行对象检测。当获取摄像头在某一时刻拍摄的图像后，首先对该图像进行预处理，例如对图像滤除噪声以及增强图像的对比度等，以获取更加清晰的图像；然后，将预处理后的图像输入基于机器学习的算法训练好的多对象分类器中，对车辆、行人等多类对象进行检测；最后，输出图像监测区域中对象的识别结果、该对象在图像中的位置信息、形状信息和颜色信息。
作为一个示例，机器学习算法可以为基于提升算法(Boosting)集成学习的二叉树支持向量机算法或卷积神经网络等算法。
但是，摄像头的图像监测区域有限，摄像头在远距离的情况下难以精确定位物体。并且，根据摄像头拍摄的图像无法检测出图像监测区域中对象的速度、三维尺寸和反射强度等信息，从而降低对图像监测区域监测的精确性。
基于此，本发明实施例提出一种监测系统。参见图2，图2是本发明另一个实施例提供的监测系统的场景示意图。如图2所示，与图1不同的是，本发明实施例的监测系统还包括一个雷达L。其中，雷达L和摄像头C1均设置于支撑部件S上。
继续参见图2，支撑部件S为固定于地面的L型支撑杆。作为一个示例，雷达竖立安装在支撑杆上。即，激光雷达吊置安装在支撑杆上，以保证可以扫描指定的监测区域。
在本发明的实施例中，雷达是利用探测信号探测目标的电子设备，包括发射端和接收端。具体地，雷达的发射端向测量点发射探测信号，接收端接收从测量点反射回来的反射回波信号，并将接收的反射回波信号与发射的探测信号进行比较，即可获取测量点的点云数据。
在本发明的实施例中，雷达通过利用发射的扇形扫描面，对雷达监测区域进行扫描，以采集雷达监测区域的点云数据。作为一个示例，雷达监测区域需要覆盖整个车道的宽度，以保证不漏检车辆。
继续参见图2，雷达通过发射的扇形扫描面，在第一平面和第二平面之间的空间内来回扫描。其中，第一平面为O点、B3点和B4点所在平面，第二平面为O点、B1点和B2点所在平面。其中，O点为雷达所在位置。其中，雷达的雷达监测区域与雷达的扫描角度范围有关。可根据实际需求设置雷达的扫描角度，以实现对雷达监测区域的设置。
也就是说，雷达的雷达监测区域属于图2中栅格线所表示的区域，即以B1、B2、B3和B4四个点所在的平面区域B，其中区域B包括区域A。
在本发明的实施例中，雷达扫描雷达监测区域B时，可以探测到雷达监测区域内一系列测量点的数据。其中，每一个测量点的数据包括该测量点与雷达发射端的距离、测量点的方位角和测量点的仰角以及该测量点的反射强度等信息。
具体来说，雷达通过测量发射信号与回波信号之间的时间差，再结合信号的传播速度，即可计算出雷达与测量点之间距离。雷达利用天线的尖锐方位波束可以测量点与雷达发射端的方位角和仰角信息。
在本发明的实施例中，雷达可以为毫米波雷达、激光雷达或超声波雷达。其中，毫米波雷达是工作在1毫米(mm)-10mm波段范围内的电磁波。激光雷达是以激光为工作光束的雷达。超声波雷达是以超声波进行探测的雷达。对于雷达的类型本发明实施例不做具体限制。
在本发明的实施例中，根据测量点与雷达发射端的距离、测量点的方位角和测量点的仰角等数据可以计算出该测量点在雷达坐标系下的三维直角坐标，即雷达监测区域的三维点云数据。其中，雷达坐标系为以雷达为原点的三维直角坐标系。
在本发明的实施例中，通过利用基于点云数据的对象检测方法，可以对雷达监测区域进行对象检测，得到雷达坐标系下雷达监测区域中各对象的属性信息。其中，雷达监测区域中各对象的属性信息包括雷达监测区域中对象的位置、速度、三维尺寸和反射强度等信息。
作为一个示例，雷达坐标系下雷达监测区域中各对象的属性信息包括雷达监测区域中各对象在雷达坐标系下的位置坐标、三维尺寸、速度和反射强度等信息。其中，雷达监测区域中的对象可以为移动对象或静止对象，例如车辆、行人、建筑物、路灯等对象。
作为一个示例，可利用基于先验信息的对象检测方法对雷达监测区域的点云数据进行对象检测。其中，先验信息可以包括待检测对象的特性信息，例如对象的外观尺寸、对象的坐标范围、对象的速度或者对象的反射强度等特征信息。
作为另一个示例，可以利用基于机器学习算法的对象检测方法对雷达监测区域进行对象检测。例如，首先利用障碍栅格检测方法对雷达监测区域的三维点云数据进行障碍检测得到障碍点；然后，将障碍点进行相关性聚类，得到障碍块；最后提取每个障碍块的特征，如几何特征、位置姿态特征以及反射强度概率分布等特征，并将提取的障碍块的特征输入预先训练的机器学习模型，以输出该障碍块的种类、该障碍块的位置信息、速度信息和三维尺寸信息等信息。其中，通过利用数据关联，针对相邻帧的点云数据实现对雷达监测区域中对象的速度进行测量。
作为一个示例，机器学习算法可以为神经网络、支持向量机或AdaBoost等算法。
在本发明的实施例中，雷达不受光线影响，且雷达的雷达监测区域比摄像头的图像监测区域更大，弥补了摄像头在远距离处无法准确定位物体的缺陷。
在本发明的实施例中，由于图像监测区域和雷达监测区域中具有重合区域，因此同一时刻采集到的图像数据和点云数据中可能会包括相同的对象，即目标对象。由于基于图像数据获取的目标对象的第一属性信息和基于点云数据获取的该目标对象的第二属性信息存在差异，因此通过将目标对象的第一属性信息和第二属性信息进行关联，可以得到目标对象的联合属性信息。其中，若第一属性信息和第二属性信息中均包括目标对象的位置信息，则需要对第一属性信息和第二属性信息中的位置信息进行融合处理，以使目标对象具有唯一的位置信息。
其中，联合属性信息包括融合后的位置信息以及第一属性信息和第二属性信息中不需要融合处理的信息，例如第一属性信息中的形状和颜色，第二属性信息中的速度、尺寸和反射强度等信息。通过将目标对象的第一属性信息和第二属性信息进行关联，得到目标对象的更为全面的信息，提高了监测的准确性。
也就是说，将目标对象的第一属性信息和第二属性信息进行关联，不仅包括将第一属性信息和第二属性信息中不同的信息关联至同一目标对象，还包括将第一属性信息和第二属性信息中相同的信息进行数据融合。
在本发明的实施例中，若要获取目标对象的联合属性信息，则需要先确定是否存在目标对象。基于图像数据可以获取图像监测区域中各对象在图像坐标系下的相对坐标，基于点云数据可以获取雷达监测区域中各对象在雷达坐标系下的相对坐标。若要确定同一时刻采集到的图像数据和点云数据中是否包括相同的对象，可以利用图像监测区域中各对象在图像坐标系下的相对坐标和雷达监测区域中各对象在雷达坐标系下的相对坐标进行确定目标对象。
具体来说，将图像监测区域中各对象在图像坐标系下的相对坐标和雷达监测区域中各对象在雷达坐标系下的相对坐标统一到世界坐标系或参照物坐标系下，以实现在世界坐标系或参照物坐标系下根据各对象的坐标之间的距离确定目标对象。例如，若在世界坐标系或参照物坐标系下，两个对象的坐标之间的距离在预设范围内，则可以将这两个对象作为同一个对象，并记为目标对象。其中，参照物坐标系为以预定参照物为原点的三维坐标系。作为一个示例，预定参照物可以为支撑部件。
在本发明的实施例中，若要实现将图像监测区域中各对象在图像坐标系下的相对坐标和雷达监测区域中各对象在雷达坐标系下的相对坐标统一到世界坐标系下，则需要获取雷达坐标系与世界坐标系的关系，以及图像坐标系、摄像头坐标系与世界坐标系的关系，即需要对摄像头和雷达进行标定。
其中，摄像头的标定是指：根据摄像头模型建立的二维图像中像素点与三维空间中相互对应点的位置关系求解摄像头的模型参数过程。也就是说，对摄像头的标定就是获取世界坐标系与图像像素坐标系之间的投影矩阵。
在本发明的实施例中，摄像头需要标定的参数包括内参数和外参数。内参数用于给出摄像头的光学和几何特征，外参数用于给出摄像头在世界坐标系里的位置和方向，例如：旋转和平移。作为一个示例，标定方法为传统相机标定方法、自标定方法或张正友相机标定方法。
下面以传统相机标定法为例，说明根据本发明实施例中的摄像头标定的具体流程。
在本发明的实施例中，摄像头采集的数字图像在计算机内可以存储为数组，数组中的每一个元素的值即是图像点的灰度。在图像上定义直角坐标系u-v为图像坐标系，每一像素的坐标(u，v)分别是该像素在数组中的列数和行数。
由于图像坐标系只表示像素位于数字图像的列数和行数，并没有用物理单位表示出该像素在图像中的物理位置，因而需要再建立以物理单位(例如：厘米)表示的成像平面坐标系x-y。其中，(x，y)表示以物理单位度量的成像平面坐标系的坐标。其中，像素坐标系与成像平面坐标系的转换关系可以利用表达式(1)表示：
其中，dx、dy分别为成像平面坐标系下每个像素在横纵方向轴上的物理尺寸，u0、v0分别为图像坐标系下摄像机光轴和图像平面交点的横纵坐标，坐标单位为像素。
根据针孔成像模型的原理，摄像头坐标系与成像平面坐标系之间的关系可以利用表达式(2)表示：
其中，f为摄像头的焦距，s为预设的比例因子，用于限制三维坐标平面到二维坐标平面的投影映射比例。
在本发明实施例中，世界坐标系中与摄像头坐标系之间的关系可以用旋转矩阵R1和平移矩阵t1来描述，具体可以利用表达式(3)表示：
其中，(Xw，Yw，Zw)为世界坐标系中的坐标，(Xc，Yc，Zc)为摄像头坐标系中的坐标，R1为世界坐标系到摄像头坐标系的3×3的旋转矩阵，t1为世界坐标系到摄像头坐标系的1×3的平移矩阵。
根据上述表达式(1)、表达式(2)和表达式(3)可以得出世界坐标系和图像坐标系之间的关系：
其中，
在本发明的实施例中，矩阵M1为摄像头的内参数矩阵，矩阵M2为摄像头的外参数矩阵。根据已知的特征点建立关于摄像头内部参数和外部参数的方程进行求解，以得出世界坐标系和图像坐标系之间的变换矩阵，实现对摄像头的标定。
在本发明的实施例中，利用基于机器学习的检测算法可从摄像头采集的图像数据中，获取图像坐标系下图像监测区域中各对象的属性信息。利用已经标定的摄像头的参数，将图像坐标系下图像监测区域中各对象的属性信息转换为世界坐标系下图像监测区域中各对象的属性信息。作为一个示例，利用已经标定的摄像头的参数，可以将图像监测区域中的对象在图像坐标系下的坐标转化为该对象在世界坐标系下的位置坐标。
在本发明的实施例中，对雷达的标定相当于获取雷达坐标系和世界坐标系之间的变换矩阵。其中，雷达坐标系与世界坐标系之间的转换属于刚性转换，也就是说雷达坐标系与世界坐标系可以用旋转矩阵R2和平移矩阵t2来描述，具体可用以下表达式进行表示：
其中，(Xw，Yw，Zw)为世界坐标系中的坐标，(Xl，Yl，Zl)为雷达坐标系中的坐标，R2为世界坐标系到雷达坐标系的3×3的旋转矩阵，t2为世界坐标系到雷达坐标系的1×3的平移矩阵。
在本发明的实施例中，根据已知的特征点建立关于雷达的旋转参数和平移参数的方程对变换矩阵L1中的参数进行求解，以得出世界坐标系和雷达坐标系之间的变换矩阵L1，实现对雷达的标定。
当利用基于点云数据的对象检测算法从雷达监测区域的点云数据中检测出雷达监测区域中的各对象后，可获取雷达坐标系下雷达监测区域中各对象的属性信息。利用已经标定的雷达的参数，将雷达坐标系下雷达监测区域中各对象的属性信息转换为世界坐标系下雷达监测区域中各对象的属性信息。作为一个示例，利用已经标定的雷达的参数，可以将雷达监测区域中的对象在雷达坐标系下的坐标转化为该对象在世界坐标系下的位置坐标。
也就是说，通过摄像头的标定参数，可以将图像监测区域中的各对象在图像坐标系下的相对坐标转为世界坐标系下图像监测区域中各对象的绝对坐标。通过雷达的标定参数，可以将雷达监测区域的各对象在雷达坐标系下的相对坐标，转为世界坐标系下雷达监测区域中各对象的绝对坐标。换言之，将图像坐标系中各对象的相对坐标和雷达坐标系中各对象的相对坐标均统一到世界坐标系下。其中，世界坐标系也可称为地心坐标系。
在本发明的实施例中，当图像监测区域中的各对象在图像坐标系下的相对坐标以及雷达监测区域的各对象在雷达坐标下的相对坐标，均统一到地心坐标系后，需要将摄像头和雷达均感知的目标对象的坐标进行融合，以得到该目标对象的准确坐标。
作为一个示例，可利用加权平均法实现对目标对象的坐标进行数据融合。其中，加权平均法是指将多个传感器的数据进行加权平均，加权平均的结果即作为数据融合值。
具体来说，图像监测区域中的对象A在地心坐标系中的坐标为(Xw1，Yw1，Zw1)，雷达监测区域中的对象B在地心坐标系中的坐标为(Xw2，Yw2，Zw2)。根据对象A和对象B在地心坐标系中的坐标，可以计算出两个对象之间的距离。若两个对象的距离小于预设阈值，则将这两个对象判定为同一个对象，即目标对象。也就是说对象A和对象B为相同对象，即该对象位于雷达监测区域和图像监测区域的重合区域。此时，可用加权平均法，对坐标(Xw1，Yw1，Zw1)赋予权重a，并对坐标(Xw2，Yw2，Zw2)赋予权重b。其中，a+b＝1。则上述目标对象的绝对坐标为(aXw1+bXw2，aYw1+bYw2，aZw1+bZw2)。
此外，还可以利用卡尔曼滤波法、贝叶斯估计法或模糊逻辑法进行数据融合。卡尔曼滤波法用测量模型的统计特性递推，决定统计意义下的最优融合和数据估计。贝叶斯估计法将每一个传感器作为一个贝叶斯估计，将各个单独物体的关联概率分布合成一个联合的后验的概率分布函数，通过使用联合分布函数的似然函数为最小，提供多个传感器信息的最终融合值。
需要说明的是，若对象A和对象B之间的距离大于等于预设阈值，则代表对象A和对象B为不同的对象。
在本发明的实施例中，若图像监测区域和雷达监测区域中均不存在可移动的车辆、行人等对象时，可利用图像监测区域和雷达监测区域场景中的静止对象实现数据融合，例如道路上的垃圾箱、路灯、车道线或建筑物等对象。
在本发明的实施例中，通过在世界坐标系下对目标对象的位置坐标进行融合，可以得出目标对象在世界坐标系下的绝对位置。并且，由于图像监测区域中的对象在摄像机坐标系下的属性信息还包括该对象的形状和颜色，雷达监测区域中的对象在雷达坐标系下的属性信息还包括该对象的、三维尺寸、速度和反射强度等信息，因此图像监测区域和雷达监测区域的重合区域中的目标对象具有联合属性信息，即具有融合后的位置信息、尺寸、速度、形状、反射强度和颜色等信息。
本发明实施例提供的监测系统可以应用于智能交通和自动驾驶领域。具体地，当监测系统获取目标对象的联合属性信息后，可以将目标对象的联合属性信息以及雷达监测区域中除目标对象之外的所有对象在世界坐标系下的属性信息均发送至雷达监测区域附近的车载设备，以使车载设备可以获取雷达监测区域中所有对象的坐标分布地图，并根据该坐标分布图进行合理的路径规划。
在上述实施例中，世界坐标系为地心坐标系，世界坐标下图像监测区域中各对象的属性信息是基于摄像头坐标系下图像监测区域中各对象的属性信息直接在世界坐标系下一次转换得到的信息。世界坐标系下雷达监测区域中各对象的属性信息是基于雷达坐标系下雷达监测区域中各对象的属性信息直接在世界坐标下一次转换得到的信息。
在本发明的一个实施例中，还可以将摄像头坐标系下各对象的相对坐标和雷达坐标系下各对象的相对坐标统一到参照物坐标系下，以实现在参照物坐标系下根据各对象的坐标之间的距离确定目标对象。
其中，世界坐标系下的图像监测区域中各对象的属性信息是基于图像监测区域中各对象在摄像头坐标系的属性信息，经参照物部件坐标系首次转换，在世界坐标系下再次转换得到的信息。世界坐标系下的雷达监测区域中各对象的属性信息是基于雷达监测区域中各对象在雷达坐标下的属性信息，经支撑部件坐标系首次转换，在世界坐标系下再次转换得到的信息。作为一个示例，世界坐标系为地心坐标系。
作为一个示例，参照物坐标系为支撑部件坐标系。其中，支撑部件坐标系以地面与支撑部件的交点为原点，地平面为x轴和y轴所在平面。若支撑部件为固定在地面的支撑杆，则z轴与支撑杆的方向平行。在不同的应用场景中可以设置不同的支撑部件。
若要得到世界坐标系下图像监测区域中各对象的属性信息，则需要获取摄像头坐标系、参照物坐标系和世界坐标系之间的转换关系。若要得到世界坐标系下雷达监测区域中各对象的属性信息，则需要获取雷达坐标系、参照物坐标系和世界坐标系之间的转换关系。
也就是说，需要对参照物坐标系、摄像头坐标系、雷达坐标系均进行标定。
在本发明的实施例中，由于摄像头坐标系和参照物坐标系之间的相互转换为刚性转换，因此，结合表达式(1)、表达式(2)、表达式(3)和表达式(4)，可类似得出图像坐标系和参照物坐标系之间的变换矩阵可以利用下面表达式(6)表示：
其中，(Xs，Ys，Zs)为参照物坐标系中的坐标，R3为参照物坐标系到摄像头坐标系的3×3的旋转矩阵，t3为参照物坐标系到摄像头坐标系的1×3的平移矩阵。
在本发明的实施例中，根据已知的特征点建立关于矩阵M1中的参数和矩阵M3中的参数进行求解，以得出参照物坐标系和图像坐标系之间的变换矩阵，实现对摄像头的标定。
由于参照物坐标系和雷达坐标系之间的转换也属于刚性转换，因此对雷达的标定就是求解参照物坐标系和雷达坐标系之间的平移矩阵和旋转矩阵。对于参照物坐标系和雷达坐标系之间关系可以利用表达式(7)表示：
其中，(Xs，Ys，Zs)为参照物坐标系中的坐标，(Xl，Yl，Zl)为雷达坐标系中的坐标，R4为参照物坐标系到雷达坐标系的3×3的旋转矩阵，t4为参照物坐标系到雷达坐标系的1×3的平移矩阵。
在本发明的实施例中，根据已知的特征点建立关于雷达的旋转参数和平移参数的方程对变换矩阵L2中的参数进行求解，以得出世界坐标系和雷达坐标系之间的变换矩阵L2，实现对雷达的标定。
在本发明的实施例中，对参照物的标定就是求解参照物坐标系和世界坐标系之间的变换矩阵。其中，参照物坐标系和世界坐标系之间的变换属于刚性变换。因此可采用与雷达的标定方法相似的方法，根据已知特征点的坐标可以建立关于参照物的旋转参数和平移参数的方程，以对参照物坐标系和世界坐标系之间的变换矩阵进行求解，实现对参照物的标定。
当获取图像坐标系下图像监测区域中各对象的属性信息后，根据图像坐标系与参照物坐标系之间的变换矩阵，将图像坐标系下图像监测区域中各对象的属性信息转换为参照物坐标系下图像监测区域中各对象的属性信息。
当获取雷达坐标系下雷达监测区域中各对象的属性信息后，根据雷达坐标系与参照物坐标系之间的变换矩阵，将雷达坐标系下雷达监测区域中各对象的属性信息转换为参照物坐标系下雷达监测区域中各对象的属性信息。
其中，图像坐标系下图像监测区域中各对象的属性信息包括图像监测区域中各对象在图像坐标系中的坐标。雷达坐标系下雷达监测区域中各对象的属性信息包括雷达监测区域中各对象在雷达坐标系下的坐标。
也就是说，通过表达式(6)中摄像头的标定参数，可以将图像监测区域中的对象在图像坐标系下的相对坐标转为图像监测区域中对象在参照物坐标系下的相对坐标。通过表达式(7)中雷达的标定参数，可以将雷达监测区域的对象在雷达坐标系下的相对坐标，转为雷达监测区域中对象在参照物坐标系下的相对坐标。即，将图像监测区域中的对象在图像坐标系中的相对坐标和雷达监测区域中对象在雷达坐标系中的相对坐标均统一到参照物坐标系下。
由于图像监测区域与雷达监测区域具有重合区域，因此会存在相同的对象被雷达和摄像头均感知。因此可以利用加权平均法、卡尔曼滤波法、贝叶斯估计法或模糊逻辑法，在参照物坐标系下，对图像监测区域和雷达监测区域中均包括的目标对象进行相对坐标的数据融合。
当目标对象在参照物坐标系下，完成数据融合后，则雷达监测区域和图像监测区域中的每个对象在参照物坐标系下都具有一个唯一的相对坐标。
通过利用参照物坐标系和世界坐标系之间的变换关系，将参照物坐标系下雷达监测区域和图像监测区域各对象的属性信息转换为世界坐标系下雷达监测区域和图像监测区域中各对象的属性信息。作为一个示例，将雷达监测区域中的对象在参照物坐标系下的相对坐标转换为该对象在世界坐标系下的绝对坐标。
由于图像监测区域和雷达监测区域的重点不一致，因此将摄像头采集的图像数据和雷达的点云数据进行融合，可以实现更大区域的监测，并且丰富了目标对象的属性信息的全面性，提高了监测的精准性。
参见图3，图3是本发明再一个实施例提供的监测系统的场景示意图。与图2不同的是，本发明实施例的监测系统还包括一个摄像头C2。
其中，雷达L、摄像头C1和摄像头C2均设置于支撑部件S上。摄像头C1和摄像头C2背对设置。
继续参见图3，摄像头C2的图像监测区域为图3中用点表示的区域C，雷达监测区域B包括摄像头C1图像监测区域A和摄像头C2图像监测区域C。
在本发明的实施例中，通过利用基于图像检测的计算机视觉算法对摄像头C2采集的图像进行对象检测，可以获取图像坐标系下图像监测区域C中各对象的属性信息。图像监测区域C中各对象的属性信息包括图像监测区域C中的对象的位置信息、形状信息和颜色信息。
在本发明的实施例中，摄像头C1、摄像头C2和雷达在空间上的融合，是指在统一的坐标系下对图像监测区域A中各对象的属性信息、图像监测区域C中各对象的属性信息和雷达监测区域B中各对象的属性信息进行关联。
作为一个示例，将图像坐标下图像监测区域A中各对象的属性信息、图像坐标系下图像监测区域C中各对象的属性信息和雷达坐标系下的雷达监测区域B中各对象的属性信息，转换为世界坐标系下图像监测区域A中各对象的属性信息、图像监测区域C中各对象的属性信息和雷达监测区域C中各对象的属性信息。然后在世界坐标系下，利用加权平均法、卡尔曼滤波法、贝叶斯估计法或模糊逻辑法，对雷达监测区域B内的所有的目标对象的第一属性信息和第二属性信息进行融合，以获取目标对象的联合属性信息。其中，第一属性信息是基于图像数据确定的属性信息，第二属性信息是根据点云数据确定的属性信息。
其中，雷达监测区域B中的目标对象包括图像监测区域A与雷达监测区域B中被共同感知的对象，以及图像监测区域C与雷达监测区域B中被共同感知的对象。
在该示例中，若要实现数据融合，需要先对摄像头C2、摄像头C1的标定方法和雷达进行标定。摄像头C2和雷达的具体标定方法可参考表达式(1)至表达式(5)。对于摄像头C2和摄像头C1的标定方法相类似，在此不再赘述。
作为另外一个示例，将图像坐标下图像监测区域A中各对象的属性信息、图像坐标系下图像监测区域C中各对象的属性信息和雷达坐标系下的雷达监测区域B中各对象的属性信息，转换为支撑部件坐标系下图像监测区域A中各对象的属性信息、图像监测区域C中各对象的属性信息和雷达监测区域B中各对象的属性信息。然后在支撑部件坐标系下，利用加权平均法、卡尔曼滤波法、贝叶斯估计法或模糊逻辑法，对雷达监测区域B中所有目标对象的第一属性信息和第二属性信息进行融合，以获取目标对象的联合属性信息。当完成数据融合后，根据支撑部件坐标系与世界坐标系之间的转换关系，将支撑部件坐标系下雷达监测区域中各对象的属性信息转换为世界坐标系下雷达监测区域中各对象的属性信息。
在该示例中，若要实现数据融合，需要先对摄像头C1、摄像头C2、支撑部件和雷达进行标定。摄像头C1和摄像头C2的标定可参考表达式(6)，雷达的具体标定方法可参考表达式(7)。支撑部件的标定方法在此不再赘述。
本发明实施例提供的监测系统，利用背向设置的两个摄像头可以实现双向监测，避免对雷达监测区域内的目标漏检，提高了监测精度。并且通过将两个摄像头的数据和雷达的数据进行融合，不仅使监测区域增大，而且提高了监测区域中目标对象的属性信息的全面性。
图4示出本发明实施例提供的监测方法400的流程示意图。参见图4，本发明实施例的监测方法包括以下步骤：
S410，摄像头用于采集图像监测区域的图像数据。
在本发明的实施例中，摄像头固定设置于支撑部件上。其中，支撑部件是能够起到连接并能够承受相应压力和拉力的结构件。作为一个示例，支撑部件可以为支撑杆。其中，摄像头在支撑部件上的安装位置可根据监测区域的需求进行确定。
其中，图像监测区域为摄像头的拍摄区域。图像数据为摄像头采集的图像监测区域的图像。
本发明实施例提供的监测区域的方法，摄像头具有近场感知的优势，通过利用摄像头可以获取指定近场区域的高分辨率的图像信息。
在本发明的实施例中，摄像头包括前向摄像头和后向摄像头，前向摄像头与后向摄像头背向设置于支撑部件。
本发明实施例提供的监测区域的方法，通过在支撑部件上背向设置两个摄像头，不仅增加了监测区域，而且可以实现双向监测，避免了对目标的漏检，提高了监测的可靠性。
S420，雷达对雷达监测区域进行扫描，以采集雷达监测区域的点云数据。
在本发明的实施例中，雷达与摄像头均安装在支撑部件上。其中，雷达可以为毫米波雷达、激光雷达或超声波雷达。
其中，雷达监测区域为雷达发射的扇形扫描面的扫描区域。雷达监测区域由雷达的扫描角度进行确定，雷达监测区域可根据实际需求进行设定，雷达利用发射的扇形扫描面扫描雷达监测区域，可以获取雷达监测区域的点云数据。其中，雷达监测区域包括图像监测区域。
在本发明的实施例中，雷达监测区域内的点云数据是基于雷达的发射信号与雷达监测区域的反射回波信号之间的比较，获取的数据。
本发明实施例中，通过利用扫描范围较大的雷达，实现了更大区域的监测。
S430，根据图像数据确定目标对象的第一属性信息，根据点云数据确定目标对象的第二属性信息。
在本发明的实施例中，通过利用基于机器学习的检测算法可以从图像数据中获取图像监测区域中各对象的第一属性信息，第一属性信息包括位置、形状、颜色中的至少一种。通过利用基于点云数据的对象检测方法对点云数据进行处理，可以获取雷达监测区域中各对象的第二属性信息。其中，第二属性信息包括位置、速度、尺寸、反射强度中的至少一种。
在本发明的实施例中，雷达监测区域中的对象或图像监测区域中的对象包括车辆、行人中的至少一种。
在本发明的实施例中，由于雷达监测区域包括图像监测区域，因此会有同一对象被雷达和摄像头共同感知。其中，目标对象为同一时刻采集到的图像数据和点云数据中均包括的对象。若存在目标对象，则利用同一时刻采集的图像数据和点云数据，则可以分别获取目标对象的第一属性信息和第二属性信息。
在本发明的实施例中，在步骤S430之前，还包括：
分别确定各第一对象、第二对象的位置坐标，第一对象为图像数据中包括的对象，第二对象为点云数据中包括的对象。
将同一时刻采集到的图像数据和点云数据中，位置坐标的距离在预设范围内的第一对象和第二对象作为同一个对象，记为目标对象。
在本发明的实施例中，在获取目标对象的第一属性信息和第二属性信息之前，需要先确定同一时刻采集到的图像数据和点云数据中是否包括目标对象。
其中，基于图像数据可以确定图像数据中包括的每个第一对象的位置坐标。基于点云数据可以确定点云数据中包括的每个第二对象的位置坐标。
在一个实施例中，第一对象的位置坐标和第二对象的位置坐标均为世界坐标系下的坐标，世界坐标系为以地心为原点的三维坐标系或经纬度坐标系。
其中，第一对象在世界坐标系下的坐标由第一对象在图像坐标系中的坐标转化得到，图像坐标系为图像左上角为原点的二维坐标系。具体地，根据图像坐标系与世界坐标系之间的转换关系，可以将第一对象在图像坐标系下的坐标转换为第一对象的在世界坐标系下的坐标。
第二对象在世界坐标系下的坐标由第二对象在雷达坐标系中的坐标转化得到，雷达坐标系为以雷达为原点的三维坐标系。具体地，根据雷达坐标系与世界坐标系之间的转换关系，可以将第二对象在雷达坐标系下的坐标转换为第一对象在世界坐标系下的坐标。
在本发明的实施例中，若第一对象在世界坐标系下中坐标和第二对象在世界坐标系下中的坐标之间的距离在预设范围内，则认为第一对象和第二对象为相同的对象，并即为目标对象。
在另一个实施例中，第一对象的位置坐标和第二对象的位置坐标均为参照物坐标系下的坐标。参照物坐标系为以预定参照物为原点的三维坐标系。作为一个示例，参照物坐标系可以为支撑部件坐标系。其中，支撑部件坐标系以地面与支撑部件的交点为原点，地平面为x轴和y轴所在平面。若支撑部件为固定在地面的支撑杆，则z轴与支撑杆的方向平行。
具体地，根据图像坐标系和参照物坐标系之间的转换关系，可以将第一对象在图像坐标系下的坐标转换为第一对象在参照物坐标系下的坐标。
根据雷达坐标系和参照物坐标系之间的转换关系，可以将第二对象在雷达坐标系下的坐标转换为第二对象在参照物坐标系下的坐标。
在本发明的实施例中，若第一对象在参照物坐标系下中坐标和第二对象在参照物坐标系下中的坐标之间的距离在预设范围内，则认为第一对象和第二对象为相同的对象，并即为目标对象。
S440，将目标对象的第一属性信息与第二属性信息相关联。
在本发明的实施例中，将目标对象的第一属性信息和第二属性信息进行关联，不仅包括将第一属性信息和第二属性信息中不同的信息关联至同一目标对象，还包括将第一属性信息和第二属性信息中相同的信息进行数据融合。
作为一个示例，由于第一属性信息和第二属性信息中均包括目标对象的位置坐标，因此需要对目标对象的坐标进行融合，以使目标对象在世界坐标系具有唯一的坐标。
具体来说，可以利用加权平均法、卡尔曼滤波法、贝叶斯估计法或模糊逻辑法，在世界坐标系下对目标对象的坐标进行数据融合，以使目标对象在世界坐标系下具有唯一的坐标。
将目标对象的第一属性信息与第二属性信息相关联后，可以得到世界坐标下系该目标对象的联合属性信息。目标对象的联合属性信息包括融合后的位置信息以及无需融合的速度、形状、尺寸、反射强度、颜色等信息。
通过对点云数据和图像数据中的目标对象的属性信息进行数据融合，不仅扩大了监测区域，更能够得到目标对象的全面信息。
在本发明的实施例中，由于摄像头具有近场感知的优势，雷达具有远场扫描的特点，因此通过融合图像监测区域的图像数据和雷达监测区域的点云数据，可以使摄像头和雷达的优势互相补充，实现对更大区域的监测。并且，由于图像数据和点云数据中包含的对象的属性信息有差异，因此融合图像数据和点云数据可以获取目标对象的更为全面的信息。
作为另一个示例，还可以利用加权平均法、卡尔曼滤波法、贝叶斯估计法或模糊逻辑法，在参照物坐标系下对目标对象的坐标进行数据融合，以使目标对象在参照物坐标系下具有唯一的坐标。然后，再将目标对象在参照物坐标系下的相对坐标转换为世界坐标系下的唯一绝对坐标。
本发明实施例提供的监测区域的方法，对于不同的监测系统，首先在监测系统对应的参照物坐标系下进行数据合并，实现了不同监测系统的数据进行各自融合，提高了每个监测系统中数据融合的速度。然后，将各个监测系统在参照物坐标系下的监测数据全部统一到世界坐标系下，可以得到世界坐标系下目标对象的联合属性信息，提高了监测的全面性。
在本发明的一些实施例中，监测方法还包括：
将目标对象的属性信息发送至雷达监测区域附近的对象。
在本发明的实施例中，目标对象的属性信息即为目标对象的联合属性信息，目标对象的联合属性信息包括融合后的位置信息以及无需融合的速度、形状、尺寸、反射强度、颜色等信息。
雷达监测区域附近的对象，例如车辆，接收到目标对象的联合属性信息后，再结合雷达监测区域中除目标对象之外的所有对象在世界坐标系下的属性信息，可以获取雷达监测区域和图像监测区域中所有对象的坐标分布地图，并根据该坐标分布图进行合理的路径规划。
图5示出本发明实施例提供的监测系统500的结构示意图。参见图5，本发明实施例的监测系统包括：摄像头510、雷达520和处理模块530。
摄像头510用于采集图像监测区域的图像数据。
雷达520用于对雷达监测区域进行扫描，以采集雷达监测区域的点云数据。
处理模块530，用于根据图像数据确定目标对象的第一属性信息，根据点云数据确定目标对象的第二属性信息，将目标对象的第一属性信息与第二属性信息相关联；其中，目标对象为同一时刻采集到的图像数据和点云数据中均包括的对象。处理模块530例如可以是CPU(Central Processing Unit)、FPGA(Field－Programmable Gate Array)等处理器芯片，也可以是服务器、个人计算机(PC，personal computer)、笔记本计算机、手机、平板电脑等计算设备，但不限于此。
在本发明的实施例中，对象包括车辆、行人中的至少一种，第一属性信息包括位置、形状、颜色中的至少一种，第二属性信息包括位置、速度、尺寸、反射强度中的至少一种。
在本发明的实施例中，处理模块530还用于：
分别确定各第一对象、第二对象的位置坐标，第一对象为图像数据中包括的对象，第二对象为点云数据中包括的对象；
将同一时刻采集到的图像数据和点云数据中，位置坐标的距离在预设范围内的第一对象和第二对象作为同一个对象，记为目标对象。
在本发明的实施例中，位置坐标为世界坐标系或参照物坐标系下的坐标，世界坐标系为以地心为原点的三维坐标系或经纬度坐标系，参照物坐标系为以预定参照物为原点的三维坐标系；
第一对象的位置坐标由第一对象在图像坐标系中的坐标转化得到，图像坐标系为以图像左上角为原点的二维坐标系。
第二对象的位置坐标由第二对象在雷达坐标系中的坐标转化得到，雷达坐标系为以雷达为原点的三维坐标系。
在本发明的实施例中，摄像头和雷达均设置于支撑部件上；
雷达通过发射的扇形扫描面扫描雷达监测区域。
在本发明的实施例中，摄像头包括前向摄像头和后向摄像头，前向摄像头与后向摄像头背对设置。
在本发明的实施例中，雷达为激光雷达、毫米波雷达或超声波雷达。
在本发明的实施例中，处理模块530，还用于将目标对象的属性信息发送至雷达监测区域附近的对象。
本发明实施例提供的监测系统，通过将摄像头的图像数据和雷达的点云数据进行数据融合，不仅扩大了监测区域的范围，而且使目标对象具有更全面的信息。
图6示出本发明另一个实施例提供的监测系统600的结构示意图。参见图6，本发明实施例的监测系统包括：摄像头610和雷达620。
摄像头610发送采集的图像监测区域的图像数据。
雷达620对雷达监测区域进行扫描，发送采集的雷达监测区域的点云数据，以使根据图像数据确定目标对象的第一属性信息，根据点云数据确定目标对象的第二属性信息，将目标对象的第一属性信息与第二属性信息相关联；其中，目标对象为同一时刻采集到的图像数据和点云数据中均包括的对象。
在本发明的实施例中，监测系统并不对摄像头采集的图像数据和雷达的点云数据进行融合，图像数据和点云数据可以发送到服务器等融合装置中进行融合，提高了监测系统的运行速度，降低了监测系统的成本。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (17)
1.一种监测系统，包括：摄像头、雷达和处理模块，
所述摄像头用于采集图像监测区域的图像数据；
所述雷达用于对雷达监测区域进行扫描，以采集所述雷达监测区域的点云数据；
所述处理模块，用于根据所述图像数据确定目标对象的第一属性信息，根据所述点云数据确定所述目标对象的第二属性信息，将所述目标对象的第一属性信息与第二属性信息相关联，其中，所述目标对象为同一时刻采集到的图像数据和点云数据中均包括的对象。
2.根据权利要求1所述的监测系统，其中，所述对象包括车辆、行人中的至少一种，所述第一属性信息包括位置、形状、颜色中的至少一种，所述第二属性信息包括位置、速度、尺寸、反射强度中的至少一种。
3.根据权利要求1所述的监测系统，其中，所述处理模块还用于：
分别确定各第一对象、第二对象的位置坐标，所述第一对象为所述图像数据中包括的对象，所述第二对象为所述点云数据中包括的对象；
将同一时刻采集到的图像数据和点云数据中，位置坐标的距离在预设范围内的第一对象和第二对象作为同一个对象，记为所述目标对象。
4.根据权利要求3所述的监测系统，其中，所述位置坐标为世界坐标系或参照物坐标系下的坐标，所述世界坐标系为以地心为原点的三维坐标系或经纬度坐标系，所述参照物坐标系为以预定参照物为原点的三维坐标系；
所述第一对象的位置坐标由所述第一对象在图像坐标系中的坐标转化得到，所述图像坐标系为以图像左上角为原点的二维坐标系；
所述第二对象的位置坐标由所述第二对象在雷达坐标系中的坐标转化得到，所述雷达坐标系为以雷达为原点的三维坐标系。
5.根据权利要求1所述监测系统，其中，所述摄像头和所述雷达均设置于支撑部件上；
所述雷达通过发射的扇形扫描面扫描所述雷达监测区域。
6.根据权利要求1所述监测系统，其中，所述摄像头包括前向摄像头和后向摄像头，所述前向摄像头与所述后向摄像头背对设置。
7.根据权利要求1所述监测系统，其中，所述雷达为激光雷达、毫米波雷达或超声波雷达。
8.根据权利要求1所述监测系统，其中，所述处理模块，还用于将所述目标对象的属性信息发送至所述雷达监测区域附近的对象。
9.一种监测方法，包括：
摄像头采集图像监测区域的图像数据；
雷达对雷达监测区域进行扫描，以采集所述雷达监测区域的点云数据；
根据所述图像数据确定目标对象的第一属性信息，根据所述点云数据确定所述目标对象的第二属性信息；
将所述目标对象的第一属性信息与第二属性信息相关联；
其中，所述目标对象为同一时刻采集到的图像数据和点云数据中均包括的对象。
10.根据权利要求9所述监测方法，其中，所述对象包括车辆、行人中的至少一种，所述第一属性信息包括位置、形状、颜色中的至少一种，所述第二属性信息包括位置、速度、尺寸、反射强度中的至少一种。
11.根据权利要求9所述监测方法，其中，所述方法还包括：
分别确定各第一对象、第二对象的位置坐标，所述第一对象为所述图像数据中包括的对象，所述第二对象为所述点云数据中包括的对象；
将同一时刻采集到的图像数据和点云数据中，位置坐标的距离在预设范围内的第一对象和第二对象作为同一个对象，记为所述目标对象。
12.根据权利要求11所述的监测方法，其中，所述位置坐标为世界坐标系或参照物坐标系下的坐标，所述世界坐标系为以地心为原点的三维坐标系或经纬度坐标系，所述参照物坐标系为以预定参照物为原点的三维坐标系；
所述第一对象的位置坐标由所述第一对象在图像坐标系中的坐标转化得到，所述图像坐标系为以图像左上角为原点的二维坐标系；
所述第二对象的位置坐标由所述第二对象在雷达坐标系中的坐标转化得到，所述雷达坐标系为以雷达为原点的三维坐标系。
13.根据权利要求9所述监测方法，其中，所述摄像头和所述雷达均设置于所述支撑部件上；
所述雷达通过发射的扇形扫描面扫描所述雷达监测区域。
14.根据权利要求9所述监测方法，其中，所述摄像头包括前向摄像头和后向摄像头，所述前向摄像头与所述后向摄像头背对设置。
15.根据权利要求9所述监测方法，其中，所述雷达为激光雷达、毫米波雷达或超声波雷达。
16.根据权利要求9所述监测方法，其中，所述方法还包括：
将所述目标对象的属性信息发送至所述雷达监测区域附近的对象。
17.一种监测系统，包括：摄像头和雷达，
所述摄像头发送采集的图像监测区域的图像数据；
所述雷达对雷达监测区域进行扫描，发送采集的所述雷达监测区域的点云数据，
以使根据所述图像数据确定目标对象的第一属性信息，根据所述点云数据确定所述目标对象的第二属性信息，将所述目标对象的第一属性信息与第二属性信息相关联；
其中，所述目标对象为同一时刻采集到的图像数据和点云数据中均包括的对象。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811184145.6A CN111045000A (zh) | 2018-10-11 | 2018-10-11 | 监测系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811184145.6A CN111045000A (zh) | 2018-10-11 | 2018-10-11 | 监测系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111045000A true CN111045000A (zh) | 2020-04-21 |
Family
ID=70229155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811184145.6A Pending CN111045000A (zh) | 2018-10-11 | 2018-10-11 | 监测系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111045000A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111522020A (zh) * | 2020-06-23 | 2020-08-11 | 山东亦贝数据技术有限公司 | 一种园区活动要素混合定位系统及方法 |
| CN111736140A (zh) * | 2020-06-15 | 2020-10-02 | 杭州海康微影传感科技有限公司 | 一种对象检测方法和摄像设备 |
| CN111929672A (zh) * | 2020-08-06 | 2020-11-13 | 浙江大华技术股份有限公司 | 移动轨迹的确定方法及装置、存储介质和电子装置 |
| CN111983603A (zh) * | 2020-08-31 | 2020-11-24 | 杭州海康威视数字技术股份有限公司 | 运动轨迹接力方法、系统、装置和中心端处理设备 |
| CN112016483A (zh) * | 2020-08-31 | 2020-12-01 | 杭州海康威视数字技术股份有限公司 | 目标检测的接力系统、方法、装置及设备 |
| CN112254670A (zh) * | 2020-10-15 | 2021-01-22 | 天目爱视（北京）科技有限公司 | 一种基于光扫描和智能视觉融合的3d信息采集设备 |
| CN112348941A (zh) * | 2020-09-17 | 2021-02-09 | 重庆知至科技有限公司 | 一种基于点云与图像数据的实时融合方法及装置 |
| CN112489438A (zh) * | 2020-11-19 | 2021-03-12 | 公安部第三研究所 | 实现移动目标数据标定的雷达与球机联动系统及其方法 |
| CN112702571A (zh) * | 2020-12-18 | 2021-04-23 | 福建汇川物联网技术科技股份有限公司 | 一种监控方法及装置 |
| CN112711033A (zh) * | 2020-12-09 | 2021-04-27 | 中科视语(北京)科技有限公司 | 边坡安全监测预警装置和预警方法 |
| CN112764022A (zh) * | 2020-12-24 | 2021-05-07 | 珠海格力电器股份有限公司 | 公共安全管理方法及公共安全管理系统 |
| CN114755673A (zh) * | 2020-12-25 | 2022-07-15 | 欧特明电子股份有限公司 | 多传感器自动驾驶系统 |
| CN115598309A (zh) * | 2022-12-13 | 2023-01-13 | 江苏旭龙环境科技有限公司（Cn） | 一种大气环境铅含量的监测预警方法及系统 |
| CN117329971A (zh) * | 2023-12-01 | 2024-01-02 | 海博泰科技(青岛)有限公司 | 一种基于三维激光雷达的车厢平衡检测方法和系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003157487A (ja) * | 2001-11-22 | 2003-05-30 | Mitsubishi Electric Corp | 交通状況監視装置 |
| JP2011053139A (ja) * | 2009-09-03 | 2011-03-17 | Toyota Motor Corp | 物体検出装置 |
| CN102508246A (zh) * | 2011-10-13 | 2012-06-20 | 吉林大学 | 车辆前方障碍物检测跟踪方法 |
| WO2015024361A1 (zh) * | 2013-08-20 | 2015-02-26 | 华为技术有限公司 | 三维重建方法及装置、移动终端 |
| CN104821056A (zh) * | 2015-04-30 | 2015-08-05 | 湖南华诺星空电子技术有限公司 | 基于雷达与视频融合的智能警戒方法 |
| CN107688171A (zh) * | 2017-10-25 | 2018-02-13 | 北京怡孚和融科技有限公司 | 激光雷达消除盲区的方法 |
| CN108107887A (zh) * | 2017-03-10 | 2018-06-01 | 南京沃杨机械科技有限公司 | 农机导航用农田环境感知方法 |
| CN108564630A (zh) * | 2018-05-02 | 2018-09-21 | 吉林大学 | 基于激光雷达和相机摄像头融合的标定装置及其标定方法 |
-
2018
- 2018-10-11 CN CN201811184145.6A patent/CN111045000A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003157487A (ja) * | 2001-11-22 | 2003-05-30 | Mitsubishi Electric Corp | 交通状況監視装置 |
| JP2011053139A (ja) * | 2009-09-03 | 2011-03-17 | Toyota Motor Corp | 物体検出装置 |
| CN102508246A (zh) * | 2011-10-13 | 2012-06-20 | 吉林大学 | 车辆前方障碍物检测跟踪方法 |
| WO2015024361A1 (zh) * | 2013-08-20 | 2015-02-26 | 华为技术有限公司 | 三维重建方法及装置、移动终端 |
| CN104821056A (zh) * | 2015-04-30 | 2015-08-05 | 湖南华诺星空电子技术有限公司 | 基于雷达与视频融合的智能警戒方法 |
| CN108107887A (zh) * | 2017-03-10 | 2018-06-01 | 南京沃杨机械科技有限公司 | 农机导航用农田环境感知方法 |
| CN107688171A (zh) * | 2017-10-25 | 2018-02-13 | 北京怡孚和融科技有限公司 | 激光雷达消除盲区的方法 |
| CN108564630A (zh) * | 2018-05-02 | 2018-09-21 | 吉林大学 | 基于激光雷达和相机摄像头融合的标定装置及其标定方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李琳等: "二维和三维视觉传感集成系统联合标定方法" * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021254233A1 (zh) * | 2020-06-15 | 2021-12-23 | 杭州海康微影传感科技有限公司 | 对象检测方法和摄像设备 |
| CN111736140A (zh) * | 2020-06-15 | 2020-10-02 | 杭州海康微影传感科技有限公司 | 一种对象检测方法和摄像设备 |
| CN111522020A (zh) * | 2020-06-23 | 2020-08-11 | 山东亦贝数据技术有限公司 | 一种园区活动要素混合定位系统及方法 |
| CN111929672A (zh) * | 2020-08-06 | 2020-11-13 | 浙江大华技术股份有限公司 | 移动轨迹的确定方法及装置、存储介质和电子装置 |
| CN111983603A (zh) * | 2020-08-31 | 2020-11-24 | 杭州海康威视数字技术股份有限公司 | 运动轨迹接力方法、系统、装置和中心端处理设备 |
| CN112016483A (zh) * | 2020-08-31 | 2020-12-01 | 杭州海康威视数字技术股份有限公司 | 目标检测的接力系统、方法、装置及设备 |
| CN112016483B (zh) * | 2020-08-31 | 2024-06-04 | 杭州海康威视数字技术股份有限公司 | 目标检测的接力系统、方法、装置及设备 |
| CN112348941A (zh) * | 2020-09-17 | 2021-02-09 | 重庆知至科技有限公司 | 一种基于点云与图像数据的实时融合方法及装置 |
| CN112254670A (zh) * | 2020-10-15 | 2021-01-22 | 天目爱视（北京）科技有限公司 | 一种基于光扫描和智能视觉融合的3d信息采集设备 |
| CN112489438A (zh) * | 2020-11-19 | 2021-03-12 | 公安部第三研究所 | 实现移动目标数据标定的雷达与球机联动系统及其方法 |
| CN112489438B (zh) * | 2020-11-19 | 2022-09-27 | 公安部第三研究所 | 实现移动目标数据标定的雷达与球机联动系统及其方法 |
| CN112711033B (zh) * | 2020-12-09 | 2022-02-18 | 中科视语(北京)科技有限公司 | 边坡安全监测预警装置和预警方法 |
| CN112711033A (zh) * | 2020-12-09 | 2021-04-27 | 中科视语(北京)科技有限公司 | 边坡安全监测预警装置和预警方法 |
| CN112702571A (zh) * | 2020-12-18 | 2021-04-23 | 福建汇川物联网技术科技股份有限公司 | 一种监控方法及装置 |
| CN112764022A (zh) * | 2020-12-24 | 2021-05-07 | 珠海格力电器股份有限公司 | 公共安全管理方法及公共安全管理系统 |
| CN114755673A (zh) * | 2020-12-25 | 2022-07-15 | 欧特明电子股份有限公司 | 多传感器自动驾驶系统 |
| CN115598309A (zh) * | 2022-12-13 | 2023-01-13 | 江苏旭龙环境科技有限公司（Cn） | 一种大气环境铅含量的监测预警方法及系统 |
| CN117329971A (zh) * | 2023-12-01 | 2024-01-02 | 海博泰科技(青岛)有限公司 | 一种基于三维激光雷达的车厢平衡检测方法和系统 |
| CN117329971B (zh) * | 2023-12-01 | 2024-02-27 | 海博泰科技(青岛)有限公司 | 一种基于三维激光雷达的车厢平衡检测方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111045000A (zh) | 监测系统和方法 | |
| US11113959B2 (en) | Crowdsourced detection, identification and sharing of hazardous road objects in HD maps | |
| CN111352112B (zh) | 基于视觉、激光雷达和毫米波雷达的目标检测方法 | |
| De Silva et al. | Fusion of LiDAR and camera sensor data for environment sensing in driverless vehicles | |
| US9443143B2 (en) | Methods, devices and systems for detecting objects in a video | |
| Mahlisch et al. | Sensorfusion using spatio-temporal aligned video and lidar for improved vehicle detection | |
| JP2004530144A (ja) | 画像情報を提供する方法 | |
| US20180293450A1 (en) | Object detection apparatus | |
| KR20160062880A (ko) | 카메라 및 레이더를 이용한 교통정보 관리시스템 | |
| CN113160327A (zh) | 一种点云补全的实现方法和系统 | |
| Li et al. | A feature pyramid fusion detection algorithm based on radar and camera sensor | |
| JP6552448B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
| KR20200071960A (ko) | 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| JP2011048485A (ja) | 物標検出装置および物標検出方法 | |
| CN110750153A (zh) | 一种无人驾驶车辆的动态虚拟化装置 | |
| CN111913177A (zh) | 对目标物探测方法、装置以及存储介质 | |
| CN114413958A (zh) | 无人物流车的单目视觉测距测速方法 | |
| WO2022083529A1 (zh) | 一种数据处理方法及装置 | |
| Deng et al. | Joint calibration of dual lidars and camera using a circular chessboard | |
| CN117409393A (zh) | 一种焦炉机车激光点云与视觉融合障碍物检测方法及系统 | |
| CN114898144B (zh) | 一种基于相机和毫米波雷达数据的自动对齐方法 | |
| CN113895482B (zh) | 基于轨旁设备的列车测速方法及装置 | |
| CN114814810A (zh) | 行人检测方法 | |
| CN113792645A (zh) | 一种融合图像和激光雷达的ai眼球 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230711 Address after: Room 437, Floor 4, Building 3, No. 969, Wenyi West Road, Wuchang Subdistrict, Yuhang District, Hangzhou City, Zhejiang Province Applicant after: Wuzhou Online E-Commerce (Beijing) Co.,Ltd. Address before: Grand Cayman, Cayman Islands Applicant before: ALIBABA GROUP HOLDING Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200421 |