CN110765928A

CN110765928A - 视觉识别系统、识别方法、工控机和存储介质

Info

Publication number: CN110765928A
Application number: CN201911000995.0A
Authority: CN
Inventors: 陆军琰; 户晋文; 孙文; 俞剑峰
Original assignee: SAIC Motor Corp Ltd
Current assignee: SAIC Motor Corp Ltd; Shanghai Automotive Industry Corp Group
Priority date: 2019-10-21
Filing date: 2019-10-21
Publication date: 2020-02-07

Abstract

本发明提供了一种视觉识别系统、识别方法、工控机和存储介质，可以通过摄像头拍摄仪表板的视频数据，由工控机生成视频数据中每个视频帧图像的视频时间戳文件和关于ADAS系统工作状态的识别结果文件，并合并。由此本发明可以通过视觉识别来获取ADAS系统工作状态，解决了目前ADAS竞品分析测试试验中通过解析ADAS系统输出CAN报文获取其工作状态难的问题。

Description

视觉识别系统、识别方法、工控机和存储介质

技术领域

本发明涉及ADAS产品竞品分析试验技术领域，更具体地说，涉及一种视觉识别系统、识别方法、工控机和存储介质。

背景技术

在自动驾驶汽车的领域内，ADAS(Advanced Driver Assistance Systems，先进驾驶员辅助系统)利用安装在车辆上的各种传感器感知周围环境(比如车道线、红绿灯、行人车辆等)，采集、分析数据判断车辆当前是否处于危险状态，及时提醒驾驶员可能发生的危险，有效增加驾驶员的行车安全性与舒适性。ADAS系统凭借其对传感器性能要求不高、功能实用等优点，成为目前发展最迅猛的类型。

在开发ADAS新系统过程中，需要对对标的ADAS系统进行竞品分析测试试验，而ADAS系统竞品分析试验需要了解不同测试工况下ADAS系统工作状态。目前ADAS系统工作状态是通过解析ADAS系统输出CAN报文得到的，这就需要破解ADAS系统输出的CAN信号解析协议，给工作状态识别带来极大困难，尤其是将来对标的ADAS系统通过以太网传输数据，破解以太网信号解析协议的难度更大。

发明内容

有鉴于此，为解决上述问题，本发明提供一种视觉识别系统、识别方法、工控机和存储介质。技术方案如下：

一种视觉识别系统，所述系统包括：拍摄视角覆盖仪表板的摄像头、通过数据传输线与所述摄像头通信连接的工控机，所述仪表板上显示有表征ADAS系统工作状态的ADAS图标；

所述摄像头，用于拍摄所述仪表板的视频数据，所述视频数据包括至少一个具有唯一的视频帧序号的视频帧图像；

所述工控机，用于根据每个所述视频帧图像的视频帧接收时间，生成包含每个所述视频帧序号和每个所述视频帧序号对应的视频帧接收时间的视频时间戳文件；分析每个所述视频帧图像中的ADAS图标得到每个所述视频帧图像的ADAS系统工作状态，并生成包含每个所述视频帧序号和每个所述视频帧序号对应的ADAS系统工作状态的识别结果文件；合并所述视频时间戳文件和所述识别结果文件得到ADAS系统工作状态识别结果，所述ADAS系统工作状态识别结果包含每个所述视频帧序号、每个所述视频帧序号对应的视频帧接收时间和每个所述视频帧序号对应的ADAS系统工作状态。

优选的，所述系统还包括：与所述工控机电连接的车载电源；

所述车载电源，用于向所述工控机供电。

优选的，所述车载电源包括：汽车电瓶。

优选的，所述摄像头包括：USB摄像头模组，所述USB摄像头模组包括镜头、镜头座、红外滤光片、传感器感光器件和与所述传感器感光器件电连接的印刷电路板；

所述镜头，用于将物体的反射光线通过所述红外滤光片聚焦在所述传感器感光器件上形成所述物体的像；

所述镜头座，用于固定所述镜头；

所述红外滤光片，用于过滤所述反射光线中的红外光；

所述传感器感光器件，用于将所述物体的像的光信号转换成电信号；

所述印刷电路板，用于将所述电信号转换为数字图像信号，同时刷新所述传感器感光器件。

优选的，用于分析每个所述视频帧图像中的ADAS图标得到每个所述视频帧图像的ADAS系统工作状态的所述工控机，具体用于：

调用预先生成的ADAS系统工作状态识别模型，所述ADAS系统工作状态识别模型是以所述摄像头预先拍摄的视频帧图像为训练样本，以待训练ADAS系统工作状态识别模型对所述训练样本的ADAS图标的预测结果趋近于所述训练样本携带的ADAS系统工作状态为训练目标，对所述待训练ADAS系统工作状态识别模型进行训练生成；基于所述ADAS系统工作状态识别模型对每个所述视频帧图像中的ADAS图标进行识别得到每个所述视频帧图像的ADAS系统工作状态。

一种视觉识别方法，所述方法应用于工控机，所述方法包括：

接收拍摄视角覆盖仪表板的摄像头发送的仪表板的视频数据，所述仪表板上显示有表征ADAS系统工作状态的ADAS图标，所述视频数据包括至少一个具有唯一的视频帧序号的视频帧图像；

根据每个所述视频帧图像的视频帧接收时间，生成包含每个所述视频帧序号和每个所述视频帧序号对应的视频帧接收时间的视频时间戳文件；

分析每个所述视频帧图像中的ADAS图标得到每个所述视频帧图像的ADAS系统工作状态，并生成包含每个所述视频帧序号和每个所述视频帧序号对应的ADAS系统工作状态的识别结果文件；

合并所述视频时间戳文件和所述识别结果文件得到ADAS系统工作状态识别结果，所述ADAS系统工作状态识别结果包含每个所述视频帧序号、每个所述视频帧序号对应的视频帧接收时间和每个所述视频帧序号对应的ADAS系统工作状态。

优选的，所述分析每个所述视频帧图像中的ADAS图标得到每个所述视频帧图像的ADAS系统工作状态，包括：

调用预先生成的ADAS系统工作状态识别模型，所述ADAS系统工作状态识别模型是以所述摄像头预先拍摄的视频帧图像为训练样本，以待训练ADAS系统工作状态识别模型对所述训练样本的ADAS图标的预测结果趋近于所述训练样本携带的ADAS系统工作状态为训练目标，对所述待训练ADAS系统工作状态识别模型进行训练生成；

基于所述ADAS系统工作状态识别模型对每个所述视频帧图像中的ADAS图标进行识别得到每个所述视频帧图像的ADAS系统工作状态。

优选的，所述方法还包括：

以指定的文件存储格式存储所述视频时间戳文件和所述识别结果文件。

一种工控机，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现任意一项所述的视觉识别方法。

一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行所述的视觉识别方法。

以上本发明提供的一种视觉识别系统、识别方法、工控机和存储介质，可以通过摄像头拍摄仪表板的视频数据，由工控机生成视频数据中每个视频帧图像的视频时间戳文件和关于ADAS系统工作状态的识别结果文件，并合并。由此本发明可以通过视觉识别来获取ADAS系统工作状态，解决了目前ADAS竞品分析测试试验中通过解析ADAS系统输出CAN报文获取其工作状态难的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种视觉识别系统的结构示意图；

图2为本发明实施例提供的一种视觉识别方法的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种视觉识别系统，该系统的结构示意图如图1所示，包括：拍摄视角覆盖仪表板的摄像头10、通过数据传输线20与摄像头通信连接的工控机30，仪表板上显示有表征ADAS系统工作状态的ADAS图标。

本实施例中，一个ADAS图标可以唯一表征一个诸如“启用”或者“待机”或者“未启用”等ADAS系统工作状态。本实施例对于ADAS系统工作状态的内容、以及ADAS图标的形式并不限定，可以根据实际场景做出设置。

在实际应用中，可以结合汽车的仪表盘布置找到ADAS图标拍摄清晰、且受光线影响小的摄像头10安装位置，按照该安装位置部署摄像头10。

为增强系统的通用型和可靠性，摄像头10可以选取小巧轻便、视频数据传输可靠的USB摄像头模组。该USB摄像头模组包括镜头、镜头座、红外滤光片、传感器感光器件和与传感器感光器件电连接的印刷电路板。

镜头，用于将物体的反射光线通过红外滤光片聚焦在传感器感光器件上形成物体的像；镜头座，用于固定镜头；红外滤光片，用于过滤反射光线中的红外光，这就使得视频帧图像更接近人眼看到的效果；传感器感光器件，用于将物体的像的光信号转换成电信号；印刷电路板，用于将电信号转换为数字图像信号，同时刷新传感器感光器件。

此外，为给工控机30提供电源，该系统还可以设置一个与工控机30电连接的车载电源；车载电源，用于向工控机30供电。在实际应用中，该车载电源的电压可以为12V，由汽车电瓶提供。在开始识别时，可以开启车载电源给工控机30供电，开启工控机30。

摄像头10，用于拍摄仪表板的视频数据，视频数据包括至少一个具有唯一的视频帧序号的视频帧图像。

本实施例中，摄像头10可以拍摄的每个视频帧图像都具有唯一的视频帧序号，应用标记视频帧图像。

工控机30，用于根据每个视频帧图像的视频帧接收时间，生成包含每个视频帧序号和每个视频帧序号对应的视频帧接收时间的视频时间戳文件；分析每个视频帧图像中的ADAS图标得到每个视频帧图像的ADAS系统工作状态，并生成包含每个视频帧序号和每个视频帧序号对应的ADAS系统工作状态的识别结果文件；合并视频时间戳文件和识别结果文件得到ADAS系统工作状态识别结果，ADAS系统工作状态识别结果包含每个视频帧序号、每个视频帧序号对应的视频帧接收时间和每个视频帧序号对应的ADAS系统工作状态。

本实施例中，摄像头10可以以视频流的形式向工控机30持续性发送视频帧图像。

针对摄像头10发送的每个视频帧图像，工控机30则记录该视频帧图像的视频帧序号以及视频帧接收时间，并放入视频时间戳文件中。此外，工控机30还可以识别该视频帧图像中的ADAS图标来确定该ADAS图标对应的ADAS系统工作状态，记录该视频帧图像的视频帧序号以及ADAS系统工作状态，并放入识别结果文件中。当然，为方便工作人员使用，视频时间戳文件和识别结果文件可以以指定的文件存储格式，比如.csv文件格式存储于工控机30的存储空间中。

在具体实现过程中，工控机30可以预先基于tensorflow平台训练一个ADAS系统工作状态识别模型，通过该ADAS系统工作状态识别模型识别视频帧图像中ADAS图标对应的ADAS系统工作状态。若ADAS系统出现产品变更，仅需要重新采集ADAS图标的视频帧图像、更新训练样本训练模型，通用性强，对硬件改动小。

以下对tensorflow平台进行简单介绍：

tensorflow平台是一种用于训练神经网络模型的工具链，包含：图像数据集处理与格式转换、神经网络模型搭建、神经网络训练与参数调优、模型生成等过程。由于tensorflow平台在神经网络模型训练方面流程完善、部署方便，所以在商用视觉识别技术中运用广泛。

因此，用于分析每个视频帧图像中的ADAS图标得到每个视频帧图像的ADAS系统工作状态的工控机30，具体用于：

调用预先生成的ADAS系统工作状态识别模型，ADAS系统工作状态识别模型是以摄像头10预先拍摄的视频帧图像为训练样本，以待训练ADAS系统工作状态识别模型对训练样本的ADAS图标的预测结果趋近于训练样本携带的ADAS系统工作状态为训练目标，对待训练ADAS系统工作状态识别模型进行训练生成；基于ADAS系统工作状态识别模型对每个视频帧图像中的ADAS图标进行识别得到每个视频帧图像的ADAS系统工作状态。

在获取训练样本时，通过摄像头10采集ADAS系统不同工作状态下的视频数据，截取其中的多个视频帧图像制作训练样本，每个训练样本包含视频帧图像、以及标注的ADAS系统工作状态。

此外，该待训练ADAS系统工作状态识别模型可以是神经网络模型中的任意一种。

本发明实施例提供的视觉识别系统，可以通过视觉识别来获取ADAS系统工作状态，解决了目前ADAS竞品分析测试试验中通过解析ADAS系统输出CAN报文获取其工作状态难的问题。

基于上述实施例提供的视觉识别系统，该发明实施例还提供一种视觉识别方法，该方法应用于视觉识别系统中的工控机，方法流程图如图2所示，包括如下步骤：

S10，接收拍摄视角覆盖仪表板的摄像头发送的仪表板的视频数据，仪表板上显示有表征ADAS系统工作状态的ADAS图标，视频数据包括至少一个具有唯一的视频帧序号的视频帧图像。

S20，根据每个视频帧图像的视频帧接收时间，生成包含每个视频帧序号和每个视频帧序号对应的视频帧接收时间的视频时间戳文件。

S30，分析每个视频帧图像中的ADAS图标得到每个视频帧图像的ADAS系统工作状态，并生成包含每个视频帧序号和每个视频帧序号对应的ADAS系统工作状态的识别结果文件。

S40，合并视频时间戳文件和识别结果文件得到ADAS系统工作状态识别结果，ADAS系统工作状态识别结果包含每个视频帧序号、每个视频帧序号对应的视频帧接收时间和每个视频帧序号对应的ADAS系统工作状态。

可选的，分析每个视频帧图像中的ADAS图标得到每个视频帧图像的ADAS系统工作状态，包括：

调用预先生成的ADAS系统工作状态识别模型，ADAS系统工作状态识别模型是以摄像头预先拍摄的视频帧图像为训练样本，以待训练ADAS系统工作状态识别模型对训练样本的ADAS图标的预测结果趋近于训练样本携带的ADAS系统工作状态为训练目标，对待训练ADAS系统工作状态识别模型进行训练生成；

基于ADAS系统工作状态识别模型对每个视频帧图像中的ADAS图标进行识别得到每个视频帧图像的ADAS系统工作状态。

可选的，上述方法还包括：

以指定的文件存储格式存储视频时间戳文件和识别结果文件。

本发明实施例提供的视觉识别方法，可以通过视觉识别来获取ADAS系统工作状态，解决了目前ADAS竞品分析测试试验中通过解析ADAS系统输出CAN报文获取其工作状态难的问题。

本发明实施例还提供一种工控机，包括：至少一个存储器和至少一个处理器；存储器存储有程序，处理器调用存储器存储的程序，程序用于实现任意一项的视觉识别方法。

本发明实施例还提供一种存储介质，存储介质中存储有计算机可执行指令，计算机可执行指令用于执行任意一项的视觉识别方法。

以上对本发明所提供的一种视觉识别系统、识别方法、工控机和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种视觉识别系统，其特征在于，所述系统包括：拍摄视角覆盖仪表板的摄像头、通过数据传输线与所述摄像头通信连接的工控机，所述仪表板上显示有表征ADAS系统工作状态的ADAS图标；

2.根据权利要求1所述的系统，其特征在于，所述系统还包括：与所述工控机电连接的车载电源；

所述车载电源，用于向所述工控机供电。

3.根据权利要求2所述的系统，其特征在于，所述车载电源包括：汽车电瓶。

4.根据权利要求1所述的系统，其特征在于，所述摄像头包括：USB摄像头模组，所述USB摄像头模组包括镜头、镜头座、红外滤光片、传感器感光器件和与所述传感器感光器件电连接的印刷电路板；

所述镜头座，用于固定所述镜头；

所述红外滤光片，用于过滤所述反射光线中的红外光；

5.根据权利要求1所述的系统，其特征在于，用于分析每个所述视频帧图像中的ADAS图标得到每个所述视频帧图像的ADAS系统工作状态的所述工控机，具体用于：

6.一种视觉识别方法，其特征在于，所述方法应用于工控机，所述方法包括：

7.根据权利要求6所述的方法，其特征在于，所述分析每个所述视频帧图像中的ADAS图标得到每个所述视频帧图像的ADAS系统工作状态，包括：

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

9.一种工控机，其特征在于，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现如权利要求6-8任意一项所述的视觉识别方法。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求6-8任意一项所述的视觉识别方法。