Nothing Special   »   [go: up one dir, main page]

CN116883610A - 基于车辆识别与轨迹映射的数字孪生路口构建方法和系统 - Google Patents

基于车辆识别与轨迹映射的数字孪生路口构建方法和系统 Download PDF

Info

Publication number
CN116883610A
CN116883610A CN202311146515.8A CN202311146515A CN116883610A CN 116883610 A CN116883610 A CN 116883610A CN 202311146515 A CN202311146515 A CN 202311146515A CN 116883610 A CN116883610 A CN 116883610A
Authority
CN
China
Prior art keywords
vehicle
image
target
bounding box
intersection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311146515.8A
Other languages
English (en)
Inventor
杨亚宁
钱程扬
蒋如乔
王一梅
杨瑞雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuance Information Technology Co ltd
Original Assignee
Yuance Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuance Information Technology Co ltd filed Critical Yuance Information Technology Co ltd
Priority to CN202311146515.8A priority Critical patent/CN116883610A/zh
Publication of CN116883610A publication Critical patent/CN116883610A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种基于车辆识别与轨迹映射的数字孪生路口构建方法和系统，方法中以监控视频为数据源，基于目标检测技术获取车辆元数据，基于目标跟踪技术获取车辆轨迹，并通过图像与地理坐标映射方法获取车辆地理轨迹，将重点关心的车辆信息以结构化方式存储，减少数据量，能够弥补视频数据无法长时间存储限制，便于后续应用分析；结合地理视频投影和三维场景可视化技术，构建数字孪生路口场景。以车辆实时轨迹和车辆元数据为支撑，建立精细化路口场景，为优化路口调控方案提供数据支持，从而实现交叉口通行效率和道路安全性的提升。

Description

基于车辆识别与轨迹映射的数字孪生路口构建方法和系统
技术领域
本发明属于数字孪生技术领域，尤其涉及一种基于车辆识别与轨迹映射的数字孪生路口构建方法和系统。
背景技术
道路交叉口由于交通参与者多、交通规则复杂，是交通系统中最复杂、最容易发生拥堵和交通事件的场景，因此需要更加精细化和智能化的管理。现有路口管理常用手段是摄像头探测和现场管理，在事件发现和事件处理上有一定的滞后性，因此无法满足复杂的道路交叉口环境。
基于数字孪生技术的智慧路口是结合人工智能、大数据和新一代物联网等前沿技术，建立全方位的交通数据感知、多源数据参与决策的新一代交通控制系统。因此数字孪生路口能够实现更加精细化智能化的路口管理。现有数字孪生路口建设方案大都是复杂的巨系统，需要集成路口雷达、电子警察/卡口、边缘计算等设备，对软硬件有很高要求，建设一个路口成本高昂，因此目前大都只是作为试点实施，很难在城市范围内全面建设。
中国专利文献CN110009561A中提出了一种监控视频目标映射到三维地理场景模型的方法及系统，该方法包括首先读取监控探头视频图像，然后在三维地理场景模型中采集同名点对，获取同名点对的图像坐标和地理坐标，建立视频图像与地理空间的映射关系；再通过视频目标检测处理，获取图像中视频目标区域与子图影像；最后使用视频与地理空间映射关系模型，将视频目标子图影像映射于地理场景模型中实现可视化融合。然而上述专利申请没有考虑连续视频帧之间目标的连续性，在三维场景中无法对相同目标进行标识，也无法很好的展现目标动态轨迹。
发明内容
本发明针对现有技术中的不足，提供一种基于车辆识别与轨迹映射的数字孪生路口构建方法和系统。
第一方面，本发明提供一种基于车辆识别与轨迹映射的数字孪生路口构建方法，包括：
获取目标交通路口的目标方向的监控视频；
逐帧读取监控视频中的图像；
对图像中的车辆进行目标检测和目标跟踪，得到图像中所有车辆的目标包围框、置信度、车辆类型以及目标车辆在相邻视频帧之间的身份；
确定车辆在图像中的坐标；
根据车辆在图像中的坐标确定车辆的地理坐标；
根据相邻帧之间车辆的地理坐标确定车辆的实时车速；
根据相邻帧之间车辆的地理坐标确定车辆的移动方向方位角，以作为车辆朝向；
根据目标包围框中的图像像素确定目标包围框所包含图像的主体颜色，以作为车辆颜色；
获取车辆对应的车牌号码；
采用二维和三维融合渲染方式，构建数字孪生路口静态场景；
根据车辆类型、车辆的地理坐标、车辆的实时车速、车辆朝向、车辆颜色以及车辆车牌号，在数字孪生路口静态场景中添加动态车辆对象。
进一步地，所述对图像中的车辆进行目标检测和目标跟踪，得到图像中所有车辆的目标包围框、置信度、车辆类型以及目标车辆在相邻视频帧之间的身份，包括：
获取第k帧视频对应的图像M k ，其中M k =[m pq ] w×h ；w为图像像素宽；h为图像像素高；m pq 为图像中第p行第q列的像素值；
将第k帧视频对应的图像输入至YOLOv3网络中，以输出图像中所有车辆的目标包围框bbox、置信度confidence和车辆类型label；其中bbox=[bx，by，bw，bh]；bx为目标包围框左上角像素的横坐标；by为目标包围框左上角像素的纵坐标；bw为目标包围框的像素宽；bh为目标包围框的像素高；置信度表示输出的车辆类型与目标包围框中的实际车辆类型的一致率；车辆类型包括小汽车car、公共汽车bus和卡车truck；图像M k 中检测出的所有车辆信息表示为车辆的数组；/>；bx i 为图像M k 中第i辆车对应的目标包围框左上角像素的横坐标；by i 为图像M k 中第i辆车对应的目标包围框左上角像素的纵坐标；bw i 为图像M k 中第i辆车对应的目标包围框的像素宽；bh i 为图像M k 中第i辆车对应的目标包围框的像素高；confidence i 为输出车辆类型与图像M k 中第i辆车对应的目标包围框中实际车辆类型的一致率；label i 为图像M k 中第i辆车的输出车辆类型；
将图像M k 中检测出的所有车辆信息输入至DeepSort模型，以对连续视频帧的目标检测结果进行目标跟踪，对成功跟踪的目标车辆赋予一个编码id；DeepSort模型输出的结果为；/>；id i 为图像M k 中第i辆车的编码。
进一步地，所述确定车辆在图像中的坐标，包括：
以目标车辆对应的目标包围框下边框中点作为目标车辆的图像坐标（u i ,v i ）；u i =bx i +bw i /2；v i =by i -bh i ；bx i 为图像M k 中第i辆车对应的目标包围框左上角像素的横坐标；by i 为图像M k 中第i辆车对应的目标包围框左上角像素的纵坐标；bw i 为图像M k 中第i辆车对应的目标包围框的像素宽；bh i 为图像M k 中第i辆车对应的目标包围框的像素高。
进一步地，所述根据车辆在图像中的坐标确定车辆的地理坐标，包括：
取地理空间平面上的一点坐标（X i ,Y i ），以对应监控视频平面上的坐标（u i ,v i ）；
构建监控视频平面上的坐标与地理坐标转换表达式：
；
其中，（u i ,v i ,1）为第i辆车的图像坐标的齐次坐标；H为单应性矩阵；为平移矩阵M t 的逆矩阵；/>为缩放矩阵M s 的逆矩阵；（X i ,Y i ,1）为点（X i ,Y i ）的齐次坐标；T为矩阵的转置算子。
进一步地，所述根据相邻帧之间车辆的地理坐标确定车辆的实时车速，包括：
根据以下公式计算相邻帧之间车辆的地理坐标确定车辆的实时车速：
；
其中，Dist (t-1,t)为前一帧t-1到当前帧t车辆在地理空间上移动的距离；X t 为当前帧t车辆地理坐标的横坐标；X t-1为前一帧t-1车辆地理坐标的横坐标；Y t 为当前帧t车辆地理坐标的纵坐标；Y t-1为前一帧t-1车辆地理坐标的纵坐标；v t 为前一帧t-1到当前帧t车辆在地理空间上移动的速度；f为视频帧率。
进一步地，所述根据相邻帧之间车辆的地理坐标确定车辆的移动方向方位角，以作为车辆朝向，包括：
根据以下公式计算车辆的移动方向方位角：
；
其中，Azi为车辆的移动方向方位角；X t 为当前帧t车辆地理坐标的横坐标；X t-1为前一帧t-1车辆地理坐标的横坐标；Y t 为当前帧t车辆地理坐标的纵坐标；Y t-1为前一帧t-1车辆地理坐标的纵坐标。
进一步地，所述根据目标包围框中的图像像素确定目标包围框所包含图像的主体颜色，以作为车辆颜色，包括：
获取目标包围框中目标像素的RGB颜色值；
将目标包围框中目标像素的RGB颜色值转换为HLS颜色值；
将HLS颜色值中的色相以第一目标数值为间隔依次划分为多组；
根据以下公式计算目标包围框中目标像素所在色相分组：
；
其中，为目标包围框中第j个像素所在的色相分组；/>为目标包围框中第j个像素的色相；α为第一目标数值；
遍历所有色相分组，将像素数最多的分组的编号与第一目标数值的乘积作为主体颜色的色相；
将HLS颜色值中的亮度以第二目标数值为间隔依次划分为多组；
根据以下公式计算目标包围框中目标像素所在亮度分组：
；
其中，为目标包围框中第j个像素所在的亮度分组；/>为目标包围框中第j个像素的亮度；β为第二目标数值；
遍历所有亮度分组，将像素数最多的分组的编号与第二目标数值的乘积作为主体颜色的亮度；
将HLS颜色值中的饱和度以第三目标数值为间隔依次划分为多组；
根据以下公式计算目标包围框中目标像素所在饱和度分组：
；
其中，为目标包围框中第j个像素所在的饱和度分组；/>为目标包围框中第j个像素的饱和度；γ为第三目标数值；
遍历所有饱和度分组，将像素数最多的分组的编号与第三目标数值的乘积作为主体颜色的饱和度；
将主体颜色的色相、亮度和饱和度转换为主体颜色的RGB颜色值，以作为车辆的RGB颜色值。
进一步地，所述采用二维和三维融合渲染方式，构建数字孪生路口静态场景，包括：
采用Mapbox技术框架叠加矢量瓦片实现二维矢量底图渲染，二维矢量底图要素包括水系面、绿地面、建筑拉伸面、道路面、POI点注记、道路线注记和境界与政区；
采用Mapbox技术框架叠加矢量瓦片实现交通矢量要素渲染，交通矢量要素包括道路面、人行道、绿化带、隔离栏和道路标线；道路标线包括斑马线、车道线、停止线、导流线和转向箭头；
采用Mapbox结合threebox技术框架实现交通三维要素渲染，按照真实点位加载真实比例的三维模型，包括信号灯模型、道路标牌模型、行道树模型和路灯模型；
按照实际地理空间位置，在路口场景中添加监控三维模型，并按照监控实际朝向旋转监控三维模型；
计算监控视域覆盖范围，采用矢量面的方式，在路口区域叠加绘制可视域范围面图层，并设置面图层为半透明。
进一步地，所述根据车辆类型、车辆的地理坐标、车辆的实时车速、车辆朝向、车辆颜色以及车辆车牌号，在数字孪生路口静态场景中添加动态车辆对象，包括：
接入实时视频流，采用视频投影技术将视频图像以纹理图方式映射至三维地理空间，以实现视频图像与三维地理空间的逐像素融合；
采用WebSocket技术实现前后端数据传输，前端接收后端推送的实时车辆数据，在三维路口场景中绘制和更新车辆模型。
第二方面，本发明提供一种基于车辆识别与轨迹映射的数字孪生路口构建系统，包括：
监控视频获取模块，用于获取目标交通路口的目标方向的监控视频；
图像读取模块，用于逐帧读取监控视频中的图像；
车辆检测跟踪模块，用于对图像中的车辆进行目标检测和目标跟踪，得到图像中所有车辆的目标包围框、置信度、车辆类型以及目标车辆在相邻视频帧之间的身份；
车辆坐标确定模块，用于确定车辆在图像中的坐标；
车辆地理坐标确定模块，用于根据车辆在图像中的坐标确定车辆的地理坐标；
车辆车速确定模块，用于根据相邻帧之间车辆的地理坐标确定车辆的实时车速；
车辆朝向确定模块，用于根据相邻帧之间车辆的地理坐标确定车辆的移动方向方位角，以作为车辆朝向；
车辆颜色确定模块，用于根据目标包围框中的图像像素确定目标包围框所包含图像的主体颜色，以作为车辆颜色；
车牌号码获取模块，用于获取车辆对应的车牌号码；
场景构建模块，用于采用二维和三维融合渲染方式，构建数字孪生路口静态场景；
车辆添加模块，用于根据车辆类型、车辆的地理坐标、车辆的实时车速、车辆朝向、车辆颜色以及车辆车牌号，在数字孪生路口静态场景中添加动态车辆对象。
本发明提供一种基于车辆识别与轨迹映射的数字孪生路口构建方法和系统，方法中以监控视频为数据源，基于目标检测技术获取车辆元数据，基于目标跟踪技术获取车辆轨迹，并通过图像与地理坐标映射方法获取车辆地理轨迹，将重点关心的车辆信息以结构化方式存储，减少数据量，能够弥补视频数据无法长时间存储限制，便于后续应用分析；结合地理视频投影和三维场景可视化技术，构建数字孪生路口场景。以车辆实时轨迹和车辆元数据为支撑，建立精细化路口场景，为优化路口调控方案提供数据支持，从而实现交叉口通行效率和道路安全性的提升。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于车辆识别与轨迹映射的数字孪生路口构建方法的流程图；
图2为本发明实施例提供的数字孪生路口场景示例图；
图3为本发明实施例提供的一种基于车辆识别与轨迹映射的数字孪生路口构建系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在一实施例中，如图1所示，本发明实施例提供一种基于车辆识别与轨迹映射的数字孪生路口构建方法，包括：
步骤101，获取目标交通路口的目标方向的监控视频。
交通卡口监控一般架设在交通路口车道入口后方，能够清晰拍摄车道线、斑马线、驶入车辆及车牌信息。单路监控的视域覆盖范围通常包含2-3个完整车道入口，因此在同一入口方向，依车道实际数量，布设数量不等的监控。
步骤102，逐帧读取监控视频中的图像。
在同一方向若有多于一路监控，且相邻监控视域覆盖范围有重叠，则对多路监控视频图像进行拼接处理。若只有一路监控或多路监控视域覆盖范围无重叠，则不需拼接处理。
基于特征点匹配进行图像拼接。相邻监控图像两两拼接处理，以相机拍摄视角为参考方向，相对位置靠左的视频图像标记为左图，相对位置靠右的视频图像标记为右图，基于单应性原理，可将其中一个方向的图像转换至另一方向的图像平面。此处左右两图符合单应性变换条件的原则是两路监控具有相同内参。
若同一方向有两路监控，将右图图像转换至左图图像平面。
若同一方向有多于两路监控，选取中间位置监控作为基准图像，其他方向图像转换至基准图像平面。
具体图像的单应性变换过程如下：
1）对左右两图进行SIFT特征点提取和特征描述子提取。
2）采用KNN算法对左右图提取的特征描述子进行特征匹配，获取匹配的特征点对。
3）采用RANSAC算法剔除错误匹配的特征点对。
4）基于最终匹配的特征点对计算单应性矩阵。
5）对右图所有像素点进行单应性转换及重采样，获取经单应性转换后的右图。
将左图与单应性转换后的右图进行拼接处理，图像重叠处选择左图像素。
步骤103，对图像中的车辆进行目标检测和目标跟踪，得到图像中所有车辆的目标包围框、置信度、车辆类型以及目标车辆在相邻视频帧之间的身份。
逐帧读取拼接裁剪后的视频图像，采用深度学习目标检测模型，识别监控图像中的车辆对象，并基于跟踪算法，获取连续帧之间车辆对象的唯一对应关系，从而获取车辆在连续视频中的图像位置。
示例性地，获取第k帧视频对应的图像M k ，其中M k =[m pq ] w×h ；w为图像像素宽；h为图像像素高；m pq 为图像中第p行第q列的像素值。
目标检测的任务是找出图像或视频中的感兴趣物体，同时检测出它们的位置和大小。将第k帧视频对应的图像输入至YOLOv3网络中，以输出图像中所有车辆的目标包围框bbox、置信度confidence和车辆类型label；其中bbox=[bx，by，bw，bh]；bx为目标包围框左上角像素的横坐标；by为目标包围框左上角像素的纵坐标；bw为目标包围框的像素宽；bh为目标包围框的像素高；置信度表示输出的车辆类型与目标包围框中的实际车辆类型的一致率，取值范围为置信度范围为[0,1]；车辆类型包括小汽车car、公共汽车bus和卡车truck；图像M k 中检测出的所有车辆信息表示为车辆的数组；；bx i 为图像M k 中第i辆车对应的目标包围框左上角像素的横坐标；by i 为图像M k 中第i辆车对应的目标包围框左上角像素的纵坐标；bw i 为图像M k 中第i辆车对应的目标包围框的像素宽；bh i 为图像M k 中第i辆车对应的目标包围框的像素高；confidence i 为输出车辆类型与图像M k 中第i辆车对应的目标包围框中实际车辆类型的一致率；label i 为图像M k 中第i辆车的输出车辆类型。
目标检测结果仅表示当前帧视频画面中的所有车辆信息，而不包括前后帧视频画面中的车辆对应关系。目标跟踪能够获取视频帧间对象的唯一对应关系。
目标跟踪（Object-Tracking）是利用一个视频或图像序列的上下文信息，对目标的外观和运动信息进行建模，从而对目标运动状态进行预测并标定目标位置的一种技术。本发明实施例涉及多目标跟踪（Multi-Object-Tracking）问题，即基于视频上下文信息，获取视频中多个目标车辆在相邻视频帧之间的唯一身份以及位置信息。
将图像M k 中检测出的所有车辆信息输入至DeepSort模型，以对连续视频帧的目标检测结果进行目标跟踪，对成功跟踪的目标车辆赋予一个编码id；DeepSort模型输出的结果为；/>；id i 为图像M k 中第i辆车的编码。
步骤104，确定车辆在图像中的坐标。
目标跟踪结果能够获取车辆在图像中的位置。以目标车辆对应的目标包围框下边框中点作为目标车辆（第i辆车）的图像坐标（u i ,v i ）；u i =bx i +bw i /2；v i =by i -bh i ；bx i 为图像M k 中第i辆车对应的目标包围框左上角像素的横坐标；by i 为图像M k 中第i辆车对应的目标包围框左上角像素的纵坐标；bw i 为图像M k 中第i辆车对应的目标包围框的像素宽；bh i 为图像M k 中第i辆车对应的目标包围框的像素高。
步骤105，根据车辆在图像中的坐标确定车辆的地理坐标。
图像坐标仅能描述车辆在图像平面上的相对位置，无法得知车辆在真实世界中的空间位置，无法与三维地图进行融合表达，也无法进行空间分析。因此需要将车辆对象的图像像素坐标转换为地理空间坐标。以正射影像作为地理空间参考，通过建立视频画面与正射影像图像之间的单应性转换关系，实现图像坐标到地理坐标的转换计算。
监控视频图像所拍摄的为真实地理空间，本发明实施例采用正射影像表示地理空间，为了尽量减少地图投影所带来的误差，正射影像采用地方投影坐标系，且为了尽可能减少同名控制点选取误差，影像分辨率要求不低于0.2m。同名控制点选取原则为尽量靠近视频图像边缘，至少四对，且任意三点不共线，同名控制点选取示例如表1所示。
表1 同名控制点选取示例
由于地理坐标通常数值比较大，而图像坐标范围较小，直接使用地理坐标进行矩阵计算，误差会比较大，因此对地理坐标进行偏移、缩放处理，使处理后的地理坐标与图像坐标处于同等量级。
取地理空间平面上的一点坐标（X i ,Y i ），以对应监控视频平面上的坐标（u i ,v i ）。
构建监控视频平面上的坐标与地理坐标转换表达式：
。
其中，（u i ,v i ,1）为第i辆车的图像坐标的齐次坐标；H为单应性矩阵；为平移矩阵M t 的逆矩阵；/>为缩放矩阵M s 的逆矩阵；（X i ,Y i ,1）为点（X i ,Y i ）的齐次坐标，即同名控制点原始地理坐标的齐次坐标；T为矩阵的转置算子；单应性矩阵H可基于四对同名控制点采用SVD矩阵分解方法求解。
步骤106，根据相邻帧之间车辆的地理坐标确定车辆的实时车速。
示例性地，根据以下公式计算相邻帧之间车辆的地理坐标确定车辆的实时车速：
。
其中，Dist (t-1,t)为前一帧t-1到当前帧t车辆在地理坐标上移动的距离；X t 为当前帧t车辆地理坐标的横坐标；X t-1为前一帧t-1车辆地理坐标的横坐标；Y t 为当前帧t车辆地理坐标的纵坐标；Y t-1为前一帧t-1车辆地理坐标的纵坐标；v t 为前一帧t-1到当前帧t车辆在地理坐标上移动的速度；f为视频帧率。
步骤107，根据相邻帧之间车辆的地理坐标确定车辆的移动方向方位角，以作为车辆朝向。
示例性地，根据以下公式计算车辆的移动方向方位角：
。
其中，Azi为车辆的移动方向方位角。
步骤108，根据目标包围框中的图像像素确定目标包围框所包含图像的主体颜色，以作为车辆颜色。
示例性地，本步骤包括获取目标包围框中目标像素的RGB颜色值。
将目标包围框中目标像素的RGB颜色值转换为HLS颜色值，转换过程可采用OpenCV图像库中的cv2.COLOR_BGR2HLS方法实现。
将HLS颜色值中的色相以第一目标数值为间隔依次划分为多组。
根据以下公式计算目标包围框中目标像素所在色相分组：
。
其中，为目标包围框中第j个像素所在的色相分组；/>为目标包围框中第j个像素的色相；α为第一目标数值。色相的数值范围是[0,360]，单位为度。本实施例中每间隔10度划分为一组并编号，即α=10，依次分为36组。
遍历所有色相分组，将像素数最多的分组的编号与第一目标数值的乘积作为主体颜色的色相。
将HLS颜色值中的亮度以第二目标数值为间隔依次划分为多组。
根据以下公式计算目标包围框中目标像素所在亮度分组：
。
其中，为目标包围框中第j个像素所在的亮度分组；/>为目标包围框中第j个像素的亮度；β为第二目标数值。亮度的取值范围为[0,1]，本实施例中每间隔0.01划分为一组并编号，即β=0.1，依次分为10组。
遍历所有亮度分组，将像素数最多的分组的编号与第二目标数值的乘积作为主体颜色的亮度。
将HLS颜色值中的饱和度以第三目标数值为间隔依次划分为多组。
根据以下公式计算目标包围框中目标像素所在饱和度分组：
。
其中，为目标包围框中第j个像素所在的饱和度分组；/>为目标包围框中第j个像素的饱和度；γ为第三目标数值。饱和度的取值范围为[0,1]，本实施例中每间隔0.01划分为一组并编号，即γ=0.1，依次分为10组。
遍历所有饱和度分组，将像素数最多的分组的编号与第三目标数值的乘积作为主体颜色的饱和度。
将主体颜色的色相、亮度和饱和度转换为主体颜色的RGB颜色值，以作为车辆的RGB颜色值。转换过程可采用OpenCV图像库中的cv2.COLOR_HLS2 BGR方法实现。
步骤109，获取车辆对应的车牌号码。
采用开源框架HyperLPR进行车牌信息识别。具体流程为将车辆包围框中车辆图像信息输入至HyperLPR，输出为字符串表示的车牌信息。
步骤1010，采用二维和三维融合渲染方式，构建数字孪生路口静态场景。
本步骤中，如图2所示，采用Mapbox技术框架叠加矢量瓦片实现二维矢量底图渲染，二维矢量底图要素包括水系面、绿地面、建筑拉伸面、道路面、POI点注记、道路线注记和境界与政区。
采用Mapbox技术框架叠加矢量瓦片实现交通矢量要素渲染，交通矢量要素包括道路面、人行道、绿化带、隔离栏和道路标线；道路标线包括斑马线、车道线、停止线、导流线和转向箭头。
采用Mapbox结合threebox技术框架实现交通三维要素渲染，按照真实点位加载真实比例的三维模型，包括信号灯模型、道路标牌模型、行道树模型和路灯模型。
按照实际地理空间位置，在路口场景中添加监控三维模型，并按照监控实际朝向旋转监控三维模型。
计算监控视域覆盖范围，采用矢量面的方式，在路口区域叠加绘制可视域范围面图层，并设置面图层为半透明。
监控可视域即监控画面所覆盖的地理空间范围，可通过监控视频图像四个角点对应的地理空间位置所围成的四边形区域来表示。视域角点地理坐标可通过监控图像角点图像坐标转地理坐标计算，例如监控图像像素宽为w，像素高为h，则监控图像四个角点图像坐标为：左上：[0,0]，左下：[0,h]，右下：[w,h]，右上[w,0]。
由于监控画面可能包含地平面以上部分，地平线的地理空间坐标实际上为无穷远，在三维空间难以表达，因此可调整图像角点，重新选取图像中位于地面上的点作为视域角点，例如：左上：[0,hc]，左下：[0,h]，右下：[w,h]，右上[w,hc]，hc为图像中低于地平线位置距离图像顶端的像素距离。
步骤1011，根据车辆类型、车辆的地理坐标、车辆的实时车速、车辆朝向、车辆颜色以及车辆车牌号，在数字孪生路口静态场景中添加动态车辆对象。
在以上三维路口场景中，叠加渲染实时视频流。具体方式为接入实时视频流，采用视频投影技术，将视频图像以纹理图方式映射至三维地理空间，实现视频图像与三维地理空间的逐像素融合，增强三维地理空间的真实感，与动态车辆轨迹相互印证，从而构建互动互联的数字孪生路口。
具体视频投影技术原理为基于相机小孔成像原理，在三维场景中构建与真实相机地理位置、拍摄视角以及成像过程一致的虚拟相机，将真实相机成像图像作为纹理映射为虚拟相机的渲染图像，从而达到监控视频与三维场景逐像素融合效果。
设置虚拟相机所需参数通过相机标定方式获取，相机标定包括内参和外参标定，内参标定可采用棋盘格标定法，外参标定通过EPnP算法计算。
虚拟相机设置和渲染基于WebGL技术实现，通过计算相机视图矩阵和透视投影矩阵模拟相机成像，通过GPU片元着色器编程实现逐像素的纹理映射。
采用WebSocket技术实现前后端数据传输，前端接收后端推送的实时车辆数据，在三维路口场景中绘制和更新车辆模型。
本实施例中以监控视频为数据源，基于目标检测技术获取车辆元数据，基于目标跟踪技术获取车辆轨迹，并通过图像与地理坐标映射方法获取车辆地理轨迹，将重点关心的车辆信息以结构化方式存储，减少数据量，能够弥补视频数据无法长时间存储限制，便于后续应用分析；结合地理视频投影和三维场景可视化技术，构建数字孪生路口场景。以车辆实时轨迹和车辆元数据为支撑，建立精细化路口场景，为优化路口调控方案提供数据支持，从而实现交叉口通行效率和道路安全性的提升。
基于同一发明构思，本发明实施例还提供了一种基于车辆识别与轨迹映射的数字孪生路口构建系统，由于该系统解决问题的原理与基于车辆识别与轨迹映射的数字孪生路口构建方法相似，因此该系统的实施可以参见基于车辆识别与轨迹映射的数字孪生路口构建方法的实施，重复之处不再赘述。
在另一实施例中，本发明实施例提供的基于车辆识别与轨迹映射的数字孪生路口构建系统，如图3所示，包括：
监控视频获取模块10，用于获取目标交通路口的目标方向的监控视频。
图像读取模块20，用于逐帧读取监控视频中的图像。
车辆检测跟踪模块30，用于对图像中的车辆进行目标检测和目标跟踪，得到图像中所有车辆的目标包围框、置信度、车辆类型以及目标车辆在相邻视频帧之间的身份。
车辆坐标确定模块40，用于确定车辆在图像中的坐标。
车辆地理坐标确定模块50，用于根据车辆在图像中的坐标确定车辆的地理坐标。
车辆车速确定模块60，用于根据相邻帧之间车辆的地理坐标确定车辆的实时车速。
车辆朝向确定模块70，用于根据相邻帧之间车辆的地理坐标确定车辆的移动方向方位角，以作为车辆朝向。
车辆颜色确定模块80，用于根据目标包围框中的图像像素确定目标包围框所包含图像的主体颜色，以作为车辆颜色。
车牌号码获取模块90，用于获取车辆对应的车牌号码。
场景构建模块100，用于采用二维和三维融合渲染方式，构建数字孪生路口静态场景。
车辆添加模块110，用于根据车辆类型、车辆的地理坐标、车辆的实时车速、车辆朝向、车辆颜色以及车辆车牌号，在数字孪生路口静态场景中添加动态车辆对象。
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
在另一实施例中，本发明提供一种计算机设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现上述基于车辆识别与轨迹映射的数字孪生路口构建方法的步骤。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
在另一实施例中，本发明提供一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现上述基于车辆识别与轨迹映射的数字孪生路口构建方法的步骤。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的系统、设备和存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。
以上结合具体实施方式和范例性实例对本发明进行了详细说明，不过这些说明并不能理解为对本发明的限制。本领域技术人员理解，在不偏离本发明精神和范围的情况下，可以对本发明技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本发明的范围内。本发明的保护范围以所附权利要求为准。

Claims (10)

1.一种基于车辆识别与轨迹映射的数字孪生路口构建方法，其特征在于，包括：
获取目标交通路口的目标方向的监控视频；
逐帧读取监控视频中的图像；
对图像中的车辆进行目标检测和目标跟踪，得到图像中所有车辆的目标包围框、置信度、车辆类型以及目标车辆在相邻视频帧之间的身份；
确定车辆在图像中的坐标；
根据车辆在图像中的坐标确定车辆的地理坐标；
根据相邻帧之间车辆的地理坐标确定车辆的实时车速；
根据相邻帧之间车辆的地理坐标确定车辆的移动方向方位角，以作为车辆朝向；
根据目标包围框中的图像像素确定目标包围框所包含图像的主体颜色，以作为车辆颜色；
获取车辆对应的车牌号码；
采用二维和三维融合渲染方式，构建数字孪生路口静态场景；
根据车辆类型、车辆的地理坐标、车辆的实时车速、车辆朝向、车辆颜色以及车辆车牌号，在数字孪生路口静态场景中添加动态车辆对象。
2.根据权利要求1所述的基于车辆识别与轨迹映射的数字孪生路口构建方法，其特征在于，所述对图像中的车辆进行目标检测和目标跟踪，得到图像中所有车辆的目标包围框、置信度、车辆类型以及目标车辆在相邻视频帧之间的身份，包括：
获取第k帧视频对应的图像M k ，其中M k =[m pq ] w×h ；w为图像像素宽；h为图像像素高；m pq 为图像中第p行第q列的像素值；
将第k帧视频对应的图像输入至YOLOv3网络中，以输出图像中所有车辆的目标包围框bbox、置信度confidence和车辆类型label；其中bbox=[bx，by，bw，bh]；bx为目标包围框左上角像素的横坐标；by为目标包围框左上角像素的纵坐标；bw为目标包围框的像素宽；bh为目标包围框的像素高；置信度表示输出的车辆类型与目标包围框中的实际车辆类型的一致率；车辆类型包括小汽车car、公共汽车bus和卡车truck；图像M k 中检测出的所有车辆信息表示为车辆的数组；/>；bx i 为图像M k 中第i辆车对应的目标包围框左上角像素的横坐标；by i 为图像M k 中第i辆车对应的目标包围框左上角像素的纵坐标；bw i 为图像M k 中第i辆车对应的目标包围框的像素宽；bh i 为图像M k 中第i辆车对应的目标包围框的像素高；confidence i 为输出车辆类型与图像M k 中第i辆车对应的目标包围框中实际车辆类型的一致率；label i 为图像M k 中第i辆车的输出车辆类型；
将图像M k 中检测出的所有车辆信息输入至DeepSort模型，以对连续视频帧的目标检测结果进行目标跟踪，对成功跟踪的目标车辆赋予一个编码id；DeepSort模型输出的结果为；/>；id i 为图像M k 中第i辆车的编码。
3.根据权利要求1所述的基于车辆识别与轨迹映射的数字孪生路口构建方法，其特征在于，所述确定车辆在图像中的坐标，包括：
以目标车辆对应的目标包围框下边框中点作为目标车辆的图像坐标（u i ,v i ）；u i =bx i +bw i /2；v i =by i -bh i ；bx i 为图像M k 中第i辆车对应的目标包围框左上角像素的横坐标；by i 为图像M k 中第i辆车对应的目标包围框左上角像素的纵坐标；bw i 为图像M k 中第i辆车对应的目标包围框的像素宽；bh i 为图像M k 中第i辆车对应的目标包围框的像素高。
4.根据权利要求3所述的基于车辆识别与轨迹映射的数字孪生路口构建方法，其特征在于，所述根据车辆在图像中的坐标确定车辆的地理坐标，包括：
取地理空间平面上的一点坐标（X i ,Y i ），以对应监控视频平面上的坐标（u i ,v i ）；
构建监控视频平面上的坐标与地理坐标转换表达式：
；
其中，（u i ,v i ,1）为第i辆车的图像坐标的齐次坐标；H为单应性矩阵；为平移矩阵M t 的逆矩阵；/>为缩放矩阵M s 的逆矩阵；（X i ,Y i ,1）为点（X i ,Y i ）的齐次坐标；T为矩阵的转置算子。
5.根据权利要求1所述的基于车辆识别与轨迹映射的数字孪生路口构建方法，其特征在于，所述根据相邻帧之间车辆的地理坐标确定车辆的实时车速，包括：
根据以下公式计算相邻帧之间车辆的地理坐标确定车辆的实时车速：
；
其中，Dist (t-1,t)为前一帧t-1到当前帧t车辆在地理空间上移动的距离；X t 为当前帧t车辆地理坐标的横坐标；X t-1为前一帧t-1车辆地理坐标的横坐标；Y t 为当前帧t车辆地理坐标的纵坐标；Y t-1为前一帧t-1车辆地理坐标的纵坐标；v t 为前一帧t-1到当前帧t车辆在地理空间上移动的速度；f为视频帧率。
6.根据权利要求1所述的基于车辆识别与轨迹映射的数字孪生路口构建方法，其特征在于，所述根据相邻帧之间车辆的地理坐标确定车辆的移动方向方位角，以作为车辆朝向，包括：
根据以下公式计算车辆的移动方向方位角：
；
其中，Azi为车辆的移动方向方位角；X t 为当前帧t车辆地理坐标的横坐标；X t-1为前一帧t-1车辆地理坐标的横坐标；Y t 为当前帧t车辆地理坐标的纵坐标；Y t-1为前一帧t-1车辆地理坐标的纵坐标。
7.根据权利要求1所述的基于车辆识别与轨迹映射的数字孪生路口构建方法，其特征在于，所述根据目标包围框中的图像像素确定目标包围框所包含图像的主体颜色，以作为车辆颜色，包括：
获取目标包围框中目标像素的RGB颜色值；
将目标包围框中目标像素的RGB颜色值转换为HLS颜色值；
将HLS颜色值中的色相以第一目标数值为间隔依次划分为多组；
根据以下公式计算目标包围框中目标像素所在色相分组：
；
其中，为目标包围框中第j个像素所在的色相分组；/>为目标包围框中第j个像素的色相；α为第一目标数值；
遍历所有色相分组，将像素数最多的分组的编号与第一目标数值的乘积作为主体颜色的色相；
将HLS颜色值中的亮度以第二目标数值为间隔依次划分为多组；
根据以下公式计算目标包围框中目标像素所在亮度分组：
；
其中，为目标包围框中第j个像素所在的亮度分组；/>为目标包围框中第j个像素的亮度；β为第二目标数值；
遍历所有亮度分组，将像素数最多的分组的编号与第二目标数值的乘积作为主体颜色的亮度；
将HLS颜色值中的饱和度以第三目标数值为间隔依次划分为多组；
根据以下公式计算目标包围框中目标像素所在饱和度分组：
；
其中，为目标包围框中第j个像素所在的饱和度分组；/>为目标包围框中第j个像素的饱和度；γ为第三目标数值；
遍历所有饱和度分组，将像素数最多的分组的编号与第三目标数值的乘积作为主体颜色的饱和度；
将主体颜色的色相、亮度和饱和度转换为主体颜色的RGB颜色值，以作为车辆的RGB颜色值。
8.根据权利要求1所述的基于车辆识别与轨迹映射的数字孪生路口构建方法，其特征在于，所述采用二维和三维融合渲染方式，构建数字孪生路口静态场景，包括：
采用Mapbox技术框架叠加矢量瓦片实现二维矢量底图渲染，二维矢量底图要素包括水系面、绿地面、建筑拉伸面、道路面、POI点注记、道路线注记和境界与政区；
采用Mapbox技术框架叠加矢量瓦片实现交通矢量要素渲染，交通矢量要素包括道路面、人行道、绿化带、隔离栏和道路标线；道路标线包括斑马线、车道线、停止线、导流线和转向箭头；
采用Mapbox结合threebox技术框架实现交通三维要素渲染，按照真实点位加载真实比例的三维模型，包括信号灯模型、道路标牌模型、行道树模型和路灯模型；
按照实际地理空间位置，在路口场景中添加监控三维模型，并按照监控实际朝向旋转监控三维模型；
计算监控视域覆盖范围，采用矢量面的方式，在路口区域叠加绘制可视域范围面图层，并设置面图层为半透明。
9.根据权利要求1所述的基于车辆识别与轨迹映射的数字孪生路口构建方法，其特征在于，所述根据车辆类型、车辆的地理坐标、车辆的实时车速、车辆朝向、车辆颜色以及车辆车牌号，在数字孪生路口静态场景中添加动态车辆对象，包括：
接入实时视频流，采用视频投影技术将视频图像以纹理图方式映射至三维地理空间，以实现视频图像与三维地理空间的逐像素融合；
采用WebSocket技术实现前后端数据传输，前端接收后端推送的实时车辆数据，在三维路口场景中绘制和更新车辆模型。
10.一种基于车辆识别与轨迹映射的数字孪生路口构建系统，其特征在于，包括：
监控视频获取模块，用于获取目标交通路口的目标方向的监控视频；
图像读取模块，用于逐帧读取监控视频中的图像；
车辆检测跟踪模块，用于对图像中的车辆进行目标检测和目标跟踪，得到图像中所有车辆的目标包围框、置信度、车辆类型以及目标车辆在相邻视频帧之间的身份；
车辆坐标确定模块，用于确定车辆在图像中的坐标；
车辆地理坐标确定模块，用于根据车辆在图像中的坐标确定车辆的地理坐标；
车辆车速确定模块，用于根据相邻帧之间车辆的地理坐标确定车辆的实时车速；
车辆朝向确定模块，用于根据相邻帧之间车辆的地理坐标确定车辆的移动方向方位角，以作为车辆朝向；
车辆颜色确定模块，用于根据目标包围框中的图像像素确定目标包围框所包含图像的主体颜色，以作为车辆颜色；
车牌号码获取模块，用于获取车辆对应的车牌号码；
场景构建模块，用于采用二维和三维融合渲染方式，构建数字孪生路口静态场景；
车辆添加模块，用于根据车辆类型、车辆的地理坐标、车辆的实时车速、车辆朝向、车辆颜色以及车辆车牌号，在数字孪生路口静态场景中添加动态车辆对象。
CN202311146515.8A 2023-09-07 2023-09-07 基于车辆识别与轨迹映射的数字孪生路口构建方法和系统 Pending CN116883610A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311146515.8A CN116883610A (zh) 2023-09-07 2023-09-07 基于车辆识别与轨迹映射的数字孪生路口构建方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311146515.8A CN116883610A (zh) 2023-09-07 2023-09-07 基于车辆识别与轨迹映射的数字孪生路口构建方法和系统

Publications (1)

Publication Number Publication Date
CN116883610A true CN116883610A (zh) 2023-10-13

Family

ID=88255432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311146515.8A Pending CN116883610A (zh) 2023-09-07 2023-09-07 基于车辆识别与轨迹映射的数字孪生路口构建方法和系统

Country Status (1)

Country Link
CN (1) CN116883610A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115805A (zh) * 2023-10-25 2023-11-24 园测信息科技股份有限公司 一种Unreal Engine平台下的任意不规则物体标识方法和标识装置
CN117152400A (zh) * 2023-10-30 2023-12-01 武汉苍穹融新科技有限公司 交通道路上多路连续视频与三维孪生场景融合方法及系统
CN117275241A (zh) * 2023-11-21 2023-12-22 湖南希赛网络科技有限公司 基于数字孪生的交通态势感知和流量预测的可视化系统
CN117392331A (zh) * 2023-12-12 2024-01-12 天津市城市规划设计研究总院有限公司 基于矢量瓦片序列化的cad文件在三维场景下可视化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166159A (zh) * 2018-10-12 2019-01-08 腾讯科技（深圳）有限公司 获取图像的主色调的方法、装置及终端
CN112990114A (zh) * 2021-04-21 2021-06-18 四川见山科技有限责任公司 一种基于ai识别的交通数据可视化仿真方法及系统
CN113421289A (zh) * 2021-05-17 2021-09-21 同济大学 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法
CN114332153A (zh) * 2021-12-28 2022-04-12 京东方科技集团股份有限公司 一种车辆速度检测、撞车预警方法及电子设备
CN114387310A (zh) * 2022-01-17 2022-04-22 北京联合大学 一种基于深度学习的城市主干道路车流量统计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166159A (zh) * 2018-10-12 2019-01-08 腾讯科技（深圳）有限公司 获取图像的主色调的方法、装置及终端
CN112990114A (zh) * 2021-04-21 2021-06-18 四川见山科技有限责任公司 一种基于ai识别的交通数据可视化仿真方法及系统
CN113421289A (zh) * 2021-05-17 2021-09-21 同济大学 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法
CN114332153A (zh) * 2021-12-28 2022-04-12 京东方科技集团股份有限公司 一种车辆速度检测、撞车预警方法及电子设备
CN114387310A (zh) * 2022-01-17 2022-04-22 北京联合大学 一种基于深度学习的城市主干道路车流量统计方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115805A (zh) * 2023-10-25 2023-11-24 园测信息科技股份有限公司 一种Unreal Engine平台下的任意不规则物体标识方法和标识装置
CN117115805B (zh) * 2023-10-25 2024-02-09 园测信息科技股份有限公司 一种Unreal Engine平台下的任意不规则物体标识方法和标识装置
CN117152400A (zh) * 2023-10-30 2023-12-01 武汉苍穹融新科技有限公司 交通道路上多路连续视频与三维孪生场景融合方法及系统
CN117152400B (zh) * 2023-10-30 2024-03-19 武汉苍穹融新科技有限公司 交通道路上多路连续视频与三维孪生场景融合方法及系统
CN117275241A (zh) * 2023-11-21 2023-12-22 湖南希赛网络科技有限公司 基于数字孪生的交通态势感知和流量预测的可视化系统
CN117275241B (zh) * 2023-11-21 2024-02-09 湖南希赛网络科技有限公司 基于数字孪生的交通态势感知和流量预测的可视化系统
CN117392331A (zh) * 2023-12-12 2024-01-12 天津市城市规划设计研究总院有限公司 基于矢量瓦片序列化的cad文件在三维场景下可视化方法
CN117392331B (zh) * 2023-12-12 2024-03-12 天津市城市规划设计研究总院有限公司 基于矢量瓦片序列化的cad文件在三维场景下可视化方法

Similar Documents

Publication Publication Date Title
US10592780B2 (en) Neural network training system
CN116883610A (zh) 基于车辆识别与轨迹映射的数字孪生路口构建方法和系统
CN103236160B (zh) 基于视频图像处理技术的路网交通状态监测系统
US10043097B2 (en) Image abstraction system
US11521311B1 (en) Collaborative disparity decomposition
Tian et al. Depth estimation using a self-supervised network based on cross-layer feature fusion and the quadtree constraint
CN109598794B (zh) 三维gis动态模型的构建方法
CN105516654B (zh) 一种基于场景结构分析的城市监控视频融合方法
US20190020861A1 (en) High-speed and tunable scene reconstruction systems and methods using stereo imagery
Zhu et al. Monocular 3d vehicle detection using uncalibrated traffic cameras through homography
CN103226838A (zh) 地理场景中移动监控目标的实时空间定位方法
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
CN113793382A (zh) 视频图像的拼缝搜索方法、视频图像的拼接方法和装置
WO2020211593A1 (zh) 交通道路的数字化重建方法、装置和系统
CN111783675A (zh) 基于车辆语义感知的智慧城市视频自适应hdr控制方法
WO2024055966A1 (zh) 一种多相机目标检测方法、装置
CN114663473A (zh) 基于多视角信息融合的人员目标定位与追踪方法及系统
CN112215205B (zh) 目标识别方法、装置、计算机设备和存储介质
WO2020199057A1 (zh) 一种自动驾驶模拟系统、方法、设备及存储介质
Chen et al. Extracting water channels from aerial videos based on image-to-BIM registration and spatio-temporal continuity
CN115205382A (zh) 目标物定位方法以及装置
CN115035251A (zh) 一种基于领域增强合成数据集的桥面车辆实时追踪方法
Lashkov et al. Edge-Computing-Empowered Vehicle Tracking and Speed Estimation Against Strong Image Vibrations Using Surveillance Monocular Camera
CN111726535A (zh) 基于车辆感知的智慧城市cim视频大数据画质控制方法
CN118053299A (zh) 一种基于雷视融合的地下车库盲区显示方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20231013