Nothing Special   »   [go: up one dir, main page]

CN115782778A - 车辆的自动事件检测 - Google Patents

车辆的自动事件检测 Download PDF

Info

Publication number
CN115782778A
CN115782778A CN202211086910.7A CN202211086910A CN115782778A CN 115782778 A CN115782778 A CN 115782778A CN 202211086910 A CN202211086910 A CN 202211086910A CN 115782778 A CN115782778 A CN 115782778A
Authority
CN
China
Prior art keywords
vehicle
data
event
processing system
occurred
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211086910.7A
Other languages
English (en)
Inventor
W.张
E.安德森
R.A.卓尔达
M.T.盖洛德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN115782778A publication Critical patent/CN115782778A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096758—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where no selection takes place on the transmitted or the received information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/205—Indicating the location of the monitored vehicles as destination, e.g. accidents, stolen, rental
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Atmospheric Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本文描述的示例提供了一种计算机实现的方法，该方法包括从车辆的传感器接收第一数据。该方法还包括由处理装置通过使用机器学习模型处理第一数据来确定车辆外部的事件是否已经发生。该方法还包括，响应于确定车辆外部的事件已经发生，启动传感器对第二数据的记录。该方法还包括，响应于确定车辆外部的事件已经发生，采取行动控制车辆。

Description

车辆的自动事件检测
技术领域
本公开内容涉及车辆，更具体地涉及车辆的自动事件检测。
背景技术
现代交通工具(例如汽车、摩托车、船或任何其他类型的汽车)可以配备有便于交通工具和其他实体之间不同类型的通信的交通工具通信系统。例如，车辆通信系统可以提供车辆到基础设施(V2I)、车辆到车辆(V2V)、车辆到行人(V2P)和/或车辆到电网(V2G)通信。总的来说，这些可以被称为车辆对一切(V2X)通信，其使得能够在车辆和任何其他合适的实体之间进行信息通信。各种应用(例如，V2X应用)可以使用V2X通信来发送和/或接收安全消息、维护消息、车辆状态消息等。
现代车辆还可以包括一个或多个摄像机，这些摄像机提供倒车辅助，拍摄车辆驾驶员的图像以确定驾驶员的睡意或注意力，提供车辆行驶时的道路图像以避免碰撞，提供结构识别，例如道路标志等。例如，车辆可以配备多个摄像机，并且来自多个摄像机(称为“环绕视图摄像机”)的图像可以用于创建车辆的“环绕”或“鸟瞰”视图。一些摄像机(称为“远程摄像机”)可用于捕捉远程图像(例如，用于避免碰撞的物体检测、结构识别等)。).
这种车辆还可以配备传感器，例如雷达设备、激光雷达设备和/或用于执行目标跟踪的类似设备。目标跟踪包括识别目标对象，并且随着目标对象相对于观察目标对象的车辆移动，随时间跟踪目标对象。来自车辆的一个或多个摄像机的图像也可以用于执行目标跟踪。
这些通信协议、摄像机和/或传感器可用于监控车辆和车辆周围的环境。
发明内容
在一个示例性实施例中，提供了一种计算机实现的方法。该方法包括从车辆的传感器接收第一数据。该方法还包括由处理装置通过使用机器学习模型处理第一数据来确定车辆外部的事件是否已经发生。该方法还包括，响应于确定车辆外部的事件已经发生，启动传感器对第二数据的记录。该方法还包括，响应于确定车辆外部的事件已经发生，采取措施(动作)控制车辆。
除了这里描述的一个或多个特征之外，或者作为替代，该方法的进一步实施例可以包括，响应于确定车辆外部的事件没有发生，从车辆的传感器接收第三数据，并且通过使用机器学习模型处理第三数据来确定车辆外部的事件是否已经发生。
除了这里描述的一个或多个特征之外，或者作为替代，该方法的进一步实施例可以包括传感器是摄像机。
除了这里描述的一个或多个特征之外，或者作为替代，该方法的进一步实施例可以包括传感器是麦克风。
除了这里描述的一个或多个特征之外，或者作为替代，该方法的进一步实施例可以包括从车辆的传感器接收第一数据包括从麦克风接收音频数据，以及从摄像机接收视频数据。
除了这里描述的一个或多个特征之外，或者作为替代，该方法的进一步实施例可以包括融合音频数据和视频数据。
除了在此描述的一个或多个特征之外，或者作为替代，该方法的进一步实施例可以包括，响应于传感器开始记录第二数据，在第二数据上叠加信息。
除了这里描述的一个或多个特征之外，或者作为替代，该方法的进一步实施例可以包括包括了与车辆位置相关联的位置信息、与事件时间相关联的时间戳、以及与事件发生时车辆速度相关联的速度信息的信息。
除了这里描述的一个或多个特征之外，或者作为替代，该方法的进一步实施例可以包括机器学习模型是联合学习模型。
除了这里描述的一个或多个特征之外，或者作为替代，该方法的进一步实施例可以包括将第二数据传输到与远程处理系统相关联的数据存储。
除了这里描述的一个或多个特征之外，或者作为替代，该方法的进一步实施例可以包括，响应于确定车辆外部的事件已经发生，向车辆的操作者发出警报。
除了这里描述的一个或多个特征之外，或者作为替代，该方法的进一步实施例可以包括，响应于确定车辆外部的事件已经发生，向远离车辆的第三方发出警报。
除了这里描述的一个或多个特征之外，或者作为替代，该方法的进一步实施例可以包括在远程处理系统处至少部分地基于由至少一个第三方收集的第三方数据和第二数据来重建事件现场。
在另一个示例性实施例中，一系统包括传感器。该系统还包括包含计算机可读指令的存储器。该系统还包括用于执行计算机可读指令的处理设备，计算机可读指令控制处理设备执行操作。这些操作包括从车辆的传感器接收第一数据。该操作还包括由处理装置通过使用机器学习模型处理第一数据来确定车辆外部的事件是否已经发生。操作还包括，响应于确定车辆外部的事件已经发生，启动传感器对第二数据的记录。这些操作还包括响应于确定车辆外部的事件已经发生，采取行动来控制车辆。
除了这里描述的一个或多个特征之外，或者作为替代，该系统的进一步实施例可以包括传感器是摄像机。
除了这里描述的一个或多个特征之外，或者作为替代，该系统的进一步实施例可以包括传感器是麦克风。
除了这里描述的一个或多个特征之外，或者作为替代，该系统的进一步实施例可以包括从车辆的传感器接收第一数据包括了从麦克风接收音频数据，以及从摄像机接收视频数据。
除了这里描述的一个或多个特征之外，或者作为替代，该系统的进一步实施例可以包括包含融合音频数据和视频数据的操作。
除了这里描述的一个或多个特征之外，或者作为替代，该系统的进一步实施例可以包括机器学习模型是联合学习模型。
在又一个示例性实施例中，计算机程序产品包括具有程序指令的计算机可读存储介质，其中计算机可读存储介质本身不是暂时信号，程序指令可由处理设备执行以使处理设备执行操作。这些操作包括从车辆的传感器接收第一数据。该操作还包括由处理装置通过使用机器学习模型处理第一数据来确定车辆外部的事件是否已经发生。操作还包括，响应于确定车辆外部的事件已经发生，启动传感器对第二数据的记录。这些操作还包括，响应于确定车辆外部的事件已经发生，采取行动来控制车辆。
当结合附图时，从以下详细描述中，本公开的上述特征和优点以及其他特征和优点将变得显而易见。
附图说明
其他特征、优点和细节仅通过示例的方式出现在以下详细描述中，该详细描述参考了附图，其中:
图1描绘了根据本文描述的一个或多个实施例的包括传感器和处理系统的车辆；
图2描绘了根据本文描述的一个或多个实施例的用于车辆的自动事件检测的系统的框图；
图3描绘了根据本文描述的一个或多个实施例的用于处理车辆环境数据的方法的流程图；
图4A、4B和4C描绘了根据本文描述的一个或多个实施例的场景；和
图5描绘了根据示例性实施例的用于实现这里描述的技术的处理系统的框图。
具体实施方式
以下描述本质上仅是示例性的，并不旨在限制本公开、其应用或用途。应当理解，在所有附图中，相应的附图标记表示相同或相应的部件和特征。
本文描述的技术解决方案提供了车辆的自动事件检测。更具体地，这里描述的一个或多个实施例提供了自动交通事件记录和报告。在此描述的一个或多个实施例用于记录车辆外部的事件，例如交通事件(例如，执法人员的交通拦截、事故等)，或者车辆外部的任何其他事件，其充当触发器，然后采取行动，例如控制车辆，和/或向例如紧急调度员、另一车辆等报告事件。
针对车辆事件检测和报告的传统方法是不够的。例如，事件检测和报告在很大程度上是一个手动过程，需要人工检测和触发报告。考虑这样一个例子，一名执法人员将一辆目标车辆靠边停车。在这种情况下，目标车辆的乘客将不得不手动检测目标车辆正在靠边停车，然后手动开始记录，例如在目标车辆内的移动电话(例如，智能电话)或摄像机系统上记录交通停止。如果希望例如向家庭成员、紧急响应机构等报告事件，这种报告通常是手动执行的，例如通过电话呼叫。此外，如果除目标车辆之外的另一车辆发生事件，目标车辆的乘客可能不知道该事件(例如，乘客看不到该事件)。
本文描述的一个或多个实施例通过检测事件、使用一个或多个传感器(例如，摄像机、麦克风等)启动记录来解决现有技术的这些和其他缺点并报告事件。作为一个示例，根据一个或多个实施例的方法可以包括检测事件(例如，检测执法车辆)，启动音频和/或视频的记录，在视频上叠加数据(例如，速度、位置、时间戳等)，将音频和/或视频记录上传到远程处理系统(例如，云计算环境的云计算节点)，并发出警报(也称为“通知”)。在一些示例中，音频和/或视频记录可用于重建场景或事件。在一些示例中，事件中涉及的一个或多个车辆(例如，目标车辆、执法车辆等)可以被控制，例如通过使窗户摇下、使灯打开、使一个或多个交通工具内的警报发出等。
本文描述的一个或多个实施例提供了优于现有技术的优点和改进。例如，所描述的技术解决方案提供了当事件发生时(例如，当车辆操作者被执法人员拦下时)所发生的视频/音频，并且还提供了实时的事件证据，包括对事件的第三方的警报。此外，所描述的技术解决方案通过提供实时视频和/或音频，在交通停止或交通事件期间向车辆操作者提供实时帮助。本技术的其他优点可以包括减少行为事件和事件中涉及的各方的更好行为，这可以阻止升级、减少暴力方式和后果等。进一步的优点包括使用关于检测到的事件的数据来控制车辆，例如驾驶车辆避开接近的应急车辆。
图1描绘了根据本文描述的一个或多个实施例的包括传感器和处理系统110的车辆100。在图1的示例中，车辆100包括处理系统110、摄像机120、121、122、123、摄像机130、131、132、133、雷达传感器140、LiDAR传感器141和麦克风142。交通工具100可以是汽车、卡车、货车、公共汽车、摩托车、船、飞机或其他合适的交通工具100。
摄像机120-123是捕捉车辆100外部和附近图像的全景摄像机。由摄像机120-123捕获的图像一起形成车辆100的环绕视图(有时称为“俯视图”或“鸟瞰图”)。这些图像对于操作车辆(例如，停车、倒车等)是有用的。这些图像对于捕捉诸如交通堵塞、事故等事件也很有用。摄像机130-133是远程摄像机，其捕获车辆外部的图像，并且比摄像机120-123更远离车辆100。例如，这些图像可用于物体检测和避免。这些图像对于捕捉诸如交通堵塞、事故等事件也很有用。应当理解，尽管示出了八个摄像机120-123和130-133，但是在各种实施例中可以实现更多或更少的摄像机。
捕获的图像可以显示在显示器(未示出)上，以向车辆100的驾驶员/操作员提供车辆100的外部视图。捕获的图像可以显示为活动图像、静止图像或它们的某种组合。在一些示例中，图像可以被组合以形成合成视图，例如环绕视图。在一些示例中，由摄像机120-123和130-133捕获的图像可以被存储到处理系统110的数据存储111和/或与远程处理系统150相关联的远程数据存储151。
雷达传感器140通过发射电磁波并用传感器测量反射波来测量到目标对象的距离。该信息对于确定目标物体相对于车辆100的距离/位置是有用的。应当理解，雷达传感器140可以代表多个雷达传感器。
LiDAR(光探测和测距)传感器141通过用脉冲或连续波激光照射目标并用探测器传感器测量反射的脉冲或连续波来测量到目标对象(例如，其他车辆154)的距离。该信息对于确定目标物体相对于车辆100的距离/位置是有用的。应当理解，LiDAR传感器141可以代表多个LiDAR传感器。
麦克风142可以记录声波(例如，声音或音频)。该信息对于记录关于车辆100和/或车辆100附近环境的声音信息是有用的。应当理解，麦克风142可以代表多个麦克风和/或麦克风阵列，其可以设置在车辆中或车辆上，从而使得麦克风142可以记录车辆内部(例如，乘客车厢)和/或车辆外部的声波。
从摄像机120-123、130-133、雷达传感器140、LiDAR传感器141和/或麦克风142生成的数据可以用于检测和/或跟踪相对于车辆100的目标对象，检测事件等。目标对象的示例包括其他车辆(例如，其他车辆154)、应急车辆、例如行人、自行车、动物易受伤害的道路使用者(VRUs)、坑洼、路面上的油、路面上的碎片、雾、洪水等。
处理系统110包括数据/通信引擎112、用于检测和分类的决策引擎114、控制引擎116、数据存储111和机器学习(ML)模型118。数据/通信引擎112接收/收集数据，例如来自与车辆相关联的传感器(例如，一个或多个摄像机，120-123，130-133；雷达传感器140；LiDAR传感器141；麦克风142等等)和/或从诸如远程处理系统150和/或其他车辆154的其他来源接收数据。决策引擎114处理数据以检测和分类事件。根据这里描述的一个或多个实施例，决策引擎114可以利用ML模型118。决策引擎114如何处理数据的示例在图2等中示出，并在本文中进一步描述。控制引擎116控制车辆100，例如计划路线和执行驾驶操纵(例如，改变车道、改变速度等)，启动来自车辆100的传感器的记录，使记录的数据存储在远程处理系统150的数据存储器111和/或数据存储器151中，并执行其他合适的动作。虽然未示出，但是处理系统110可以包括其他组件、引擎、模块等，诸如处理器(例如，中央处理单元、图形处理单元、微处理器、图5的CPU 521等)、存储器(例如，随机存取存储器、只读存储器、图5的RAM524、图5的ROM 522等)、数据存储(例如，固态驱动器、硬盘驱动器、硬盘、图5的大容量存储534等)以及诸如此类的。
处理系统110可以通信地耦合到远程处理系统150，远程处理系统150可以是作为边缘处理环境的一部分的边缘处理节点、作为云处理环境的一部分的云处理节点等。处理系统110还可以通信地耦合到一个或多个其他车辆(例如，其他车辆154)。在一些示例中，处理系统110通信地直接耦合到处理系统150和/或另一车辆154(例如，使用V2V通信)，而在其他示例中，处理系统110通信地间接耦合到处理系统150和/或另一车辆154，例如通过网络152。例如，处理系统110可以包括网络适配器(未示出)(参见例如图5的网络适配器526)。网络适配器使得处理系统110能够向其他源发送数据和/或从其他源接收数据，其他源例如其他处理系统、数据储存库等，包括远程处理系统150和其他交通工具154。例如，处理系统110可以直接和/或经由网络152向远程处理系统150发送数据和/或从远程处理系统150接收数据。
网络152代表不同类型的合适的通信网络中的任何一个或组合，例如有线网络、公共网络(例如，因特网)、专用网络、无线网络、蜂窝网络或任何其他合适的专用和/或公共网络。此外，网络152可以具有与其相关联的任何合适的通信范围，并且可以包括例如全球网络(例如，因特网)、城域网(MANs)、广域网(WANs)、局域网(LAN)或个人局域网(PANs)。此外，网络152可以包括可以承载网络流量的任何类型的介质，包括但不限于同轴电缆、双绞线、光纤、混合光纤同轴(HFC)介质、微波地面收发器、射频通信介质、卫星通信介质或其任意组合。根据本文描述的一个或多个实施例，远程处理系统150、另一车辆154和处理系统110通过车辆对基础设施(V2I)、车辆对车辆(V2V)、车辆对行人(V2P)和/或车辆对电网(V2G)通信进行通信。
现在更详细地描述处理系统110的组件的特征和功能。车辆100的处理系统110有助于车辆的自动事件检测。
根据本文描述的一个或多个实施例，处理系统110将传感器输入和驾驶行为与人工智能(AI)和机器学习(ML)(例如，联合学习)相结合，以确定车辆100何时涉及事件(例如，交通停止)并自动采取行动，例如使用与车辆相关联的传感器记录数据、连接到第三方、控制车辆(例如，摇下车窗、打开危险灯和/或内部灯等)、向记录的数据增加叠加信息(例如，向记录的视频添加速度、GPS和时间戳)等。处理系统110还可以发出通知/警报，例如在车辆100的显示器上提供消息，向操作者/乘客传达事件已经发生，向紧急联系人和/或紧急调度员通知事件。
根据本文描述的一个或多个实施例，处理系统110可以基于传感器数据(例如，来自摄像机、麦克风等的数据)与通过外部车辆传感器(例如，一个或多个摄像机120-123，130-133；麦克风142等)观察到的驾驶行为的融合来执行特征的自动AI/ML触发。处理系统110可以结合AI/ML(例如，通过增强的联合学习)触发器来启动记录，例如应急灯、警笛、速度和车辆粗暴操纵。在一些示例中，处理系统110可以引起本地和/或远程数据捕获/记录，以确保数据所有权/安全性。例如，原始数据被本地保存在车辆100中(例如，在数据存储器111中)以及车辆100的操作者/乘客的移动设备(未示出)中。此外，联合学习数据和3D重建基元可以上传到第三方，例如远程处理系统150和/或其他交通工具154。
在一些示例中，处理系统110还可以实现第三方数据收集和/或通知，并且可以提供多车辆观察/处理。例如，处理系统110可以向紧急调度服务(例如，远程处理系统150)发送警报以启动紧急操作。在一些示例中，这可以包括将由车辆传感器收集的数据发送到远程处理系统150。处理系统110还可以向其他车辆154发送警报，以使其他车辆(例如，第三方证人)使用与其他车辆154相关联的一个或多个传感器(未示出)来收集数据。在一些示例中，处理系统110可以通过联合学习(或其他合适的机器学习技术)访问来自其他交通工具154(其可以代表一个或多个交通工具)的数据用于3D场景重建。例如，可以使用从车辆100(以及一个或多个邻近车辆(例如，另一车辆154))收集的视频来实现多视图/摄像机场景重建技术，用于3D场景建模，并且可以通过噪声消除技术来保存或增强与视频相关联的音频。当来自车辆100附近的邻近车辆(例如，另一车辆154)的数据被处理用于车辆100或云计算节点中的3D场景重建时(例如，使用运动立体声或者从运动中成形)，车辆100使用机器学习或联合学习方法发送相关数据/模型以保护数据隐私。即，被认为不相关的数据(例如，从事件之前收集的数据，从邻近车辆的乘客车厢收集的数据等等)不被发送用于场景重建以提供数据隐私。
根据本文描述的一个或多个实施例，处理系统110可以在检测到例如执法车辆时，准备车辆100，例如通过卷起/放下窗户、打开危险灯、打开内部灯、在车辆的显示器上提供消息(例如，“后面有应急车辆”)等。
现在转向图2，根据本文描述的一个或多个实施例，提供了用于车辆的自动事件检测的系统200的框图。在该示例中，系统200包括通过网络152通信耦合的车辆100、远程处理系统150和另一车辆154。应当理解，另一车辆154可以被配置成类似于如图1所示和如本文所述的车辆100。在一些示例中，可以实现附加的其他交通工具。
如图1所示，车辆100包括传感器202(例如，一个或多个摄像机120-123、130-133、雷达传感器140、LiDAR传感器141、麦克风142等)。在框204，数据/通信引擎112从传感器202接收数据。这可以包括主动收集数据(例如，使传感器202收集数据)或被动接收来自传感器202的数据。
决策引擎114处理由数据/通信引擎112在框204收集的数据。具体地，在框206，决策引擎114使用在框204接收/收集的数据来监控传感器202，以获得事件的指示。根据本文描述的一个或多个实施例，决策引擎114可以利用人工智能(例如，机器学习)来检测表示事件的传感器数据(例如，捕获的图像、记录的声波等)内的特征。例如，可以检测通常与应急车辆相关联的特征，例如闪光灯、警报器、车辆上的标记/符号等。
更具体地，本公开的各方面可以利用机器学习功能来完成这里描述的各种操作。更具体地，这里描述的一个或多个实施例可以结合和利用基于规则的决策和人工智能(AI)推理来完成这里描述的各种操作。短语“机器学习”广义地描述了从数据中学习的电子系统的功能。机器学习系统、模块或引擎(例如，决策引擎114)可以包括可训练的机器学习算法，该算法可以被训练，例如在外部云环境中，以学习当前未知的输入和输出之间的函数关系，并且得到的模型(例如，ML模型118)可以用于确定事件是否已经发生。在一个或多个实施例中，可以使用人工神经网络(ANN)来实现机器学习功能，该人工神经网络具有被训练来执行当前未知功能的能力。在机器学习和认知科学中，人工神经网络(ANN)是一系列统计学习模型，其灵感来自动物的生物神经网络，尤其是大脑。人工神经网络可用于估计或近似依赖于大量输入的系统和函数。
人工神经网络可以体现为互连处理器元件的所谓“神经形态”系统，这些处理器元件充当模拟的“神经元”，并以电子信号的形式在彼此之间交换“信息”。与在生物神经元之间传递信息的突触神经递质连接的所谓“可塑性”类似，在模拟神经元之间传递电子信息的人工神经网络中的连接被提供了数字权重，对应于给定连接的强弱。权重可以根据经验进行调整，使人工神经网络适应输入并具有学习能力。例如，用于手写识别的ANN由一组输入神经元定义，这些神经元可以被输入图像的像素激活。在由网络设计者确定的函数进行加权和转换之后，这些输入神经元的激活随后被传递给其他下游神经元，这些神经元通常被称为“隐藏”神经元。重复这个过程，直到输出神经元被激活。被激活的输出神经元决定了哪个字符被读出。类似地，决策引擎114可以利用ML模型118来检测事件。例如，决策引擎114可以使用图像识别技术在摄像机120捕获的图像中检测应急车辆，可以使用音频处理技术在麦克风142捕获的声波中检测应急车辆的警笛等等。
在决策框208，确定在框206是否检测到事件。如果在决策框208处确定没有发生事件，则决策引擎114继续监视传感器202以获得事件的指示。
然而，如果在决策框208确定事件已经发生，则控制引擎116在框210开始记录/存储来自传感器202的数据。这可以包括存储先前捕获的数据和/或使得将来的数据被捕获和存储。数据可以本地存储，例如存储在数据存储器111中，和/或远程存储，例如存储在远程处理系统150的数据存储器151或另一个合适的系统或设备中。响应于决策引擎114检测到事件，控制引擎116还可以在框212采取行动和/或在框214发出通知。可在框212采取的行动的示例包括但不限于:控制车辆100(例如，使车辆100执行驾驶操纵，例如改变车道、改变速度等；使车辆100打开其一个或多个灯；使车辆100摇下/卷起其一个或多个窗户；等等)，使得记录的数据被修改(例如，在所记录的视频上叠加GPS数据、速度/速率数据、位置数据、时间戳等；组合记录的声波和记录的视频；等等)以及其他合适的行动。可在框214发出的通知的示例可包括但不限于:向车辆100的操作者或乘客呈现音频和/或视觉提示(例如，在车辆内的显示器上呈现警报消息，在车辆内播放警报音等)、警报第三方服务(例如，紧急调度服务、车辆操作者或乘客的已知联系人等)，向另一车辆154和/或远程处理系统150发送警报等。采取的行动的类型和/或发出的通知的类型可以基于以下一个或多个:用户偏好；检测到的事件类型；基于地理的法律、法规或习俗；等等。
图3描绘了根据本文描述的一个或多个实施例的用于车辆的自动事件检测的方法300的流程图。方法300可以由任何合适的系统或设备来执行，例如图1和2的处理系统110、图5的处理系统500或任何其他合适的处理系统和/或处理设备(例如，处理器)。现在参考图1和/或图2的元素来描述方法300，但是不限于此。
在框302，处理系统110从车辆的传感器(例如，一个或多个照摄像机，120-123，130-133；雷达传感器140；LiDAR传感器141；麦克风142；等等)接收第一数据。
在框304，处理系统110通过使用机器学习模型处理第一数据来确定车辆外部的事件是否已经发生。例如，如本文所述，决策引擎114处理由传感器收集的数据。具体地，决策引擎114使用在框204接收/收集的数据来监控传感器202，以获得事件的指示。根据本文描述的一个或多个实施例，决策引擎114可以利用人工智能(例如，机器学习)来检测传感器数据(例如，捕获的图像、记录的声波等)内的表示事件的特征。例如，使用在框204接收/收集的数据，决策引擎114可以检测执法车辆、医疗支持车辆(例如救护车或第一响应车辆)等的存在。
在框306，处理系统110响应于确定车辆外部的事件已经发生，开始由传感器记录第二数据。例如，处理系统110响应于基于记录的音频检测到事件而启动视频记录。
在框308，处理系统110响应于确定车辆外部的事件故已经发生而采取行动来控制车辆。采取行动包括处理系统110引起另一个系统、设备、组件等采取行动。在一些示例中，处理系统110控制车辆100，例如执行驾驶操纵(例如，改变车道、改变速度等)，启动来自车辆100的传感器的记录，使记录的数据存储在远程处理系统150的数据存储器111和/或数据存储器151中，并执行其他合适的动作。
还可以包括额外的过程，并且应该理解，图3中描绘的过程代表说明，并且在不脱离本公开的范围和精神的情况下，可以添加其他过程或者可以移除、修改或重新安排现有过程。
图4A-4C描绘了根据本文描述的一个或多个实施例的场景400、401、402。在图4A的场景400中，车辆100被示为具有多个麦克风142。麦克风142记录由应急车辆410的警报器发出的声波。由麦克风142收集的数据(声波)可以由车辆100的处理系统110使用特殊的三角测量和时间处理来处理，以检测警笛并确定应急车辆410的相对位置和/或方位。
在图4B的场景401中，应急车辆410随着时间(T)接近车辆100，如图所示。车辆100配备有多个摄像机420，其可包括一个或多个如本文所述的120-123、130-133摄像机。处理系统110通过时间积分执行基于摄像机的应急灯闪烁检测，以实现应急车辆410的鲁棒的相对位置和/或方位。例如，可以使用基于帧的卷积神经网络(CNN)来执行空间匹配)。
在图4C的场景402中，如图所示，应急车辆410随着时间(T)从第一位置411移动到第二位置412。处理系统110可以使用机器学习(例如，联合学习)来融合麦克风数据(来自麦克风142)和摄像机数据(来自摄像机420)。例如，麦克风142可以首先提供方位，然后来自摄像机420的数据可以用于改进和提供车辆100和应急车辆410之间随时间的距离估计。
根据本文描述的一个或多个实施例，数据收集/记录限于相关数据和联合学习统计，例如应急车辆和潜在的撞车场景，以提供隐私并减少数据使用/带宽)。根据这里描述的一个或多个实施例，所收集的数据可以用于确定情况的行为/意图(例如，如果确定应急车辆410正在行驶到另一个位置并且与车辆100无关，则忽略经过/行驶的应急车辆410；如果应急车辆410和车辆100一起停止、一起加速等，则记录/收集数据)。在一些示例中，如果检测到相关主题，则记录的数据可以被压缩并发送到移动电话、云计算节点或其他设备/系统(例如，远程处理系统150)以供呈现。
图4A-4C的每个场景描绘了单车场景。然而，多种车辆情况也是可能的。例如，给定每个单个车辆的处理结果，可以基于来自多个车辆的观察来提高事件检测(例如，通过决策引擎114)的鲁棒性。在这种情况下，可以对来自多个摄像机/车辆的数据进行联合处理，包括空间和时间上的3D三角测量和重建。在一些情况下，来自多个其他车辆的信息/数据可以向车辆100提供事件正在发生(或已经发生)的提示，例如通过使用其他车辆之一识别应急车辆。在一些示例中，可以基于其他交通工具提供的数据值来识别/选择其他交通工具。例如，迎面而来的车辆可以向车辆100提供补充视图和更多信息，否则车辆100可能无法获得这些信息。这对于场景重建也是有用的。这种方法提供了改进的记录数据(例如，由于来自多个车辆的摄像机视图，3D视图可能能够被重建)。在某些情况下，记录的数据可以被压缩并发送到云计算环境，然后由云计算环境组成一个整体视图，以在智能手机等其他设备上呈现。此外，包括几何形状和运动的场景重建可以基于来自多个车辆的多个视图/数据来执行，其中仅包括相关主题以保护隐私并减少数据带宽。
应当理解，这里描述的一个或多个实施例能够结合现在已知或以后开发的任何其他类型的计算环境来实现。例如，图5描绘了用于实现本文描述的技术的处理系统500的框图。根据本文描述的一个或多个实施例，处理系统500是云计算环境的云计算节点的示例。云计算可以补充、支持或替换处理系统110、远程处理系统150和/或处理系统500的部件的一些或全部功能。
在示例中，处理系统500具有一个或多个中央处理单元(“处理器”或“处理资源”)521a、521b、521c等(统称或统称为处理器521和/或处理设备)。在本公开的各个方面，每个处理器521可以包括精简指令集计算机(RISC)微处理器。处理器521经由系统总线533耦合到系统存储器(例如，随机存取存储器(RAM)524)和各种其他组件。只读存储器(ROM)522耦合到系统总线533，并且可以包括控制处理系统500的某些基本功能的基本输入/输出系统(BIOS)。
还描绘了耦合到系统总线533的输入/输出(I/O)适配器527和网络适配器526。I/O适配器527可以是与硬盘523和/或存储设备525或任何其他类似组件通信的小型计算机系统接口(SCSI)适配器。I/O适配器527、硬盘523和存储设备525在这里被统称为大容量存储器534。用于在处理系统500上执行的操作系统540可以存储在大容量存储器534中。网络适配器526将系统总线533与外部网络536互连，使得处理系统500能够与其他这样的系统通信。
显示器(例如，显示监视器)535通过显示适配器532连接到系统总线533，显示适配器532可以包括图形适配器以提高图形密集型应用的性能和视频控制器。在本公开的一个方面，适配器526、527和/或532可以连接到一个或多个I/O总线，这些I/O总线通过中间总线桥(未示出)连接到系统总线533。用于连接诸如硬盘控制器、网络适配器和图形适配器之类的外围设备的合适的I/O总线通常包括通用协议，例如外围组件互连(PCI)。附加的输入/输出设备被示为经由用户接口适配器528和显示适配器532连接到系统总线533。键盘529、鼠标530和扬声器531(或其他合适的输入和/或输出设备，例如车辆信息娱乐系统的触摸屏或麦克风142)可以通过用户接口适配器528与系统总线533互连，用户接口适配器528可以包括例如将多个设备适配器集成到单个集成电路中的超级I/O芯片。根据这里描述的一个或多个实施例，摄像机120-123、130-133、雷达传感器140、LiDAR传感器141和麦克风142中的一个或多个也连接到系统总线533。
在本公开的一些方面，处理系统500包括图形处理单元537。图形处理单元537是专门的电子电路，其被设计成操纵和改变存储器，以加速在帧缓冲器中创建图像，用于输出到显示器。一般而言，图形处理单元537在操纵计算机图形和图像处理方面非常高效，并且具有高度并行的结构，这使得它对于并行处理大数据块的算法来说比通用CPU更有效。
因此，如这里所配置的，处理系统500包括处理器521形式的处理能力，包括系统存储器(例如，RAM 524)和大容量存储器534的存储能力，诸如键盘529和鼠标530的输入装置，以及包括扬声器531和显示器535的输出能力。在本公开的一些方面，大容量存储器534和系统存储器(例如，RAM 524)的一部分共同存储操作系统540，以协调处理系统500中所示的各种组件的功能。
如这里所使用的，术语模块指的是处理电路，其可以包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或组)和存储器、组合逻辑电路和/或提供所述功能的其他合适的部件。
为了说明的目的，已经给出了本公开的各种示例的描述，但是这些描述并不旨在穷举或者限制于所公开的实施例。在不脱离所述技术的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。选择本文使用的术语是为了最好地解释本技术的原理、实际应用或对市场上已发现技术的技术改进，或者使本领域的其他普通技术人员能够理解本文公开的技术。
虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变并且等同物可以替代其元件。此外，在不脱离本公开的实质范围的情况下，可以进行许多修改以使特定的情况或材料适应本公开的教导。因此，意图是本技术不限于所公开的特定实施例，而是将包括落入本申请范围内的所有实施例。

Claims (10)

1.一种计算机实现的方法，包括:
从车辆的传感器接收第一数据；
由处理装置通过使用机器学习模型处理第一数据来确定车辆外部的事件是否已经发生；
响应于确定车辆外部的事件已经发生，启动传感器对第二数据的记录；和
响应于确定车辆外部的事件已经发生，采取行动来控制车辆。
2.根据权利要求1所述的计算机实现的方法，进一步包括，响应于确定车辆外部的事件没有发生，
从车辆的传感器接收第三数据，以及
通过使用机器学习模型处理第三数据来确定车辆外部的事件是否已经发生。
3.根据权利要求1所述的计算机实现的方法，其中从车辆的传感器接收第一数据包括:
从麦克风接收音频数据；和
从摄像机接收视频数据。
4.根据权利要求3所述的计算机实现的方法，还包括融合音频数据和视频数据。
5.根据权利要求1所述的计算机实现的方法，还包括:响应于传感器开始记录第二数据，在第二数据上叠加信息。
6.根据权利要求5所述的计算机实现的方法，其中，所述信息包括与车辆位置相关的位置信息、与事件发生时间相关的时间戳以及与事件发生时车辆速度相关的速度信息。
7.根据权利要求1所述的计算机实现的方法，其中，所述机器学习模型是联合学习模型。
8.根据权利要求1所述的计算机实现的方法，还包括响应于确定车辆外部的事件已经发生，向车辆的操作者发出警报。
9.根据权利要求1所述的计算机实现的方法，还包括响应于确定车辆外部的事件已经发生，向远离车辆的第三方发出警报。
10.根据权利要求1所述的计算机实现的方法，还包括在远程处理系统处，至少部分基于由至少一个第三方收集的第三方数据和第二数据来重建事件现场。
CN202211086910.7A 2021-09-09 2022-09-07 车辆的自动事件检测 Pending CN115782778A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/470,454 US11869351B2 (en) 2021-09-09 2021-09-09 Automated incident detection for vehicles
US17/470,454 2021-09-09

Publications (1)

Publication Number Publication Date
CN115782778A true CN115782778A (zh) 2023-03-14

Family

ID=85226461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211086910.7A Pending CN115782778A (zh) 2021-09-09 2022-09-07 车辆的自动事件检测

Country Status (3)

Country Link
US (1) US11869351B2 (zh)
CN (1) CN115782778A (zh)
DE (1) DE102022119825A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024194867A1 (en) 2023-03-20 2024-09-26 Notraffic Ltd Detection and reconstruction of road incidents
DE102023110826A1 (de) 2023-04-27 2024-10-31 Audi Aktiengesellschaft Verfahren zum Betrieb einer Gruppe von Kraftfahrzeugen

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140002651A1 (en) * 2012-06-30 2014-01-02 James Plante Vehicle Event Recorder Systems
US10819943B2 (en) * 2015-05-07 2020-10-27 Magna Electronics Inc. Vehicle vision system with incident recording function
JP6104482B1 (ja) * 2016-07-07 2017-03-29 三菱電機株式会社 事故情報収集システムおよび事故情報収集方法
US11620862B1 (en) * 2019-07-15 2023-04-04 United Services Automobile Association (Usaa) Method and system for reconstructing information about an accident
US11657704B2 (en) * 2020-03-25 2023-05-23 Blackberry Limited Event data collections for accidents
EP3895950B1 (en) * 2020-04-16 2024-01-17 Zenuity AB Methods and systems for automated driving system monitoring and management
US11440555B2 (en) * 2020-05-18 2022-09-13 Verizon Connect Development Limited Systems and methods for detecting and classifying an unsafe maneuver of a vehicle
US11608055B2 (en) * 2020-06-04 2023-03-21 Nxp Usa, Inc. Enhanced autonomous systems with sound sensor arrays

Also Published As

Publication number Publication date
DE102022119825A1 (de) 2023-03-09
US20230074620A1 (en) 2023-03-09
US11869351B2 (en) 2024-01-09

Similar Documents

Publication Publication Date Title
US11993277B2 (en) Inward/outward vehicle monitoring for remote reporting and in-cab warning enhancements
US11380193B2 (en) Method and system for vehicular-related communications
CN107608388B (zh) 自主警车
WO2020042984A1 (zh) 一种车辆行为检测方法及装置
CN103987577B (zh) 用于监视和信号化车辆的周围环境中的交通情况的方法
US20220406073A1 (en) Obstacle detection and notification for motorcycles
EP3759700A1 (en) Method for determining driving policy
CN114550736A (zh) 用于自主驾驶应用的应急响应车辆检测
CN115782778A (zh) 车辆的自动事件检测
CN114270294A (zh) 使用眩光作为输入的注视确定
JP7544502B2 (ja) 運転支援装置及びデータ収集システム
CN112534487B (zh) 信息处理设备、移动体、信息处理方法和程序
CN101349562A (zh) 车辆行驶偏向的警报方法及装置
GB2563332A (en) Event reconstruct through image reporting
US11616932B1 (en) Car security camera triggering mechanism
CN116113999A (zh) 用于生成事故信息图的方法和装置
CN116872840A (zh) 车辆防撞预警方法、装置、车辆和存储介质
US11853741B2 (en) Federated learning for connected camera
KR102426735B1 (ko) 도난알림 기능이 적용된 전방위 촬영이 가능한 자동차용 보안 시스템
US12145578B2 (en) Devices and methods for assisting operation of vehicles based on situational assessment fusing expoential risks (SAFER)
US12027050B2 (en) Hazard notification method and system for implementing
US20230166743A1 (en) Devices and methods for assisting operation of vehicles based on situational assessment fusing expoential risks (safer)
Gabrielli et al. An advanced multimodal driver-assistance prototype for emergency-vehicle detection
Tamilarasi Public Opinion Analysis of Road Accidents & Review of Conventional and Combinational Driver Safety Methodologies with SelfLearning Algorithms
CN117841832A (zh) 驾驶预警方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination