CN112287855B - 基于多任务神经网络的驾驶行为检测方法和装置 - Google Patents
基于多任务神经网络的驾驶行为检测方法和装置 Download PDFInfo
- Publication number
- CN112287855B CN112287855B CN202011207383.1A CN202011207383A CN112287855B CN 112287855 B CN112287855 B CN 112287855B CN 202011207383 A CN202011207383 A CN 202011207383A CN 112287855 B CN112287855 B CN 112287855B
- Authority
- CN
- China
- Prior art keywords
- neural network
- network
- output
- sample
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 199
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000006870 function Effects 0.000 claims description 42
- 230000006399 behavior Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提供的一种基于多任务神经网络的驾驶行为检测方法和装置，涉及驾驶状态检测技术领域，该方法包括：基于基础神经网络的卷积层确定第一神经网络，第一神经网络包括：第一输出网络和第二输出网络；基于基础神经网络和HourGlass网络确定第二神经网络，并基于第一神经网络和第二神经网络确定第三神经网络；然后使用样本信息对第三神经网络进行训练，最后基于训练好的第三神经网络对样本信息进行预测，其中，第一输出网络用于预测样本的关键点坐标，第二输出网络用于预测样本的头部姿势角度。该方法可以缓解现有驾驶行为检测技术中的运行耗时长、预测准确度低的问题，从而实现提升计算性能的效果。
Description
技术领域
本发明涉及驾驶状态检测技术领域，尤其是涉及一种基于多任务神经网络的驾驶行为检测方法和装置。
背景技术
随着私家车数量的增多机动车成为了一种十分普遍的出行方式，但近年来机动车的事故率居高不下，尤其是驾驶员疲劳驾驶或者注意力不集中等驾驶行为逐渐成为导致交通事故频发的一个重要原因，因此对驾驶员的驾驶行为进行检测和监督对有效降低交通事故的发生有重要意义。驾驶员疲劳监测技术一般对驾驶员进行头部姿势估计和人脸关键点检测，从而实现驾驶员的注意力检测以及人脸验证等。
但是现有的驾驶行为检测技术在同时进行头部姿势估计和人脸关键点检测时，通常需要采用单独的神经网络实现，存在运行耗时长、预测准确度低的问题。
发明内容
本发明的目的在于提供一种基于多任务神经网络的驾驶行为检测方法和装置，以缓解现有技术中存在的运行耗时长、预测准确度低的技术问题。
第一方面，本发明实施例提供了一种基于多任务神经网络的驾驶行为检测方法，该方法包括：基于基础神经网络的卷积层确定第一神经网络，所述第一神经网络包括：第一输出网络和第二输出网络；
基于所述基础神经网络和HourGlass网络确定第二神经网络；
基于所述第一神经网络和所述第二神经网络确定第三神经网络；
使用样本信息对所述第三神经网络进行训练；所述样本信息包括样本的头部图像，所述头部图像包括所述样本的人脸信息；
基于训练好的所述第三神经网络对所述样本信息进行预测，其中，所述第一输出网络用于预测所述样本的关键点坐标，所述第二输出网络用于预测所述样本的头部姿势角度。
在一些实施方式中，基于基础神经网络的卷积层确定第一神经网络的步骤，包括：
将基础神经网络中指定数量个卷积层与第一输出网络的卷积层连接；
将所述基础神经网络的最后一个卷积层与第二输出网络的卷积层连接。
在一些实施方式中，所述第一输出网络包括关键点检测网络；所述第二输出网络包括头部姿势估计网络。
在一些实施方式中，基于所述基础神经网络和HourGlass网络确定第二神经网络的步骤，包括：
将所述基础神经网络中的若干个卷积层作为第一HourGlass网络的降采样卷积层，构建第一级联网络；
其中，所述第一HourGlass网络还包括与降采样卷积层相同数量的上采样卷积层。
在一些实施方式中，基于所述基础神经网络和HourGlass网络确定第二神经网络的步骤，还包括：
将若干个HourGlass网络连接，构建第二级联网络；
在所述第一级联网络后连接所述第二级联网络，确定第二神经网络。
在一些实施方式中，使用样本信息对所述第三神经网络进行训练的步骤，包括：
使用样本信息对所述第一输出网络的第一损失函数和所述第二输出网络的第二损失函数进行训练；
基于所述第一损失函数和所述第二损失函数的训练结果，对所述第二神经网络的融合损失函数进行训练。
在一些实施方式中，使用样本信息对所述第二神经网络进行训练的步骤，包括：
使用样本信息同时对所述第一输出网络的第一损失函数、所述第二输出网络的第二损失函数和所述第二神经网络的融合损失函数进行训练。
第二方面，本发明实施例提供了一种基于多任务神经网络的驾驶行为检测装置，包括：
第一确定模块，用于基于基础神经网络的卷积层确定第一神经网络，所述第一神经网络包括：第一输出网络和第二输出网络；
第二确定模块，用于基于所述基础神经网络和HourGlass网络确定第二神经网络；
第三确定模块，用于基于所述第一神经网络和所述第二神经网络确定第三神经网络；
训练模块，用于使用样本信息对所述第三神经网络进行训练；所述样本信息包括样本的头部图像，所述头部图像包括所述样本的人脸信息；
预测模块，用于基于训练好的所述第三神经网络对所述样本信息进行预测，其中，所述第一输出网络用于预测所述样本的关键点坐标，所述第二输出网络用于预测所述样本的头部姿势角度。
第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述第一方面任一项所述的方法。
本发明提供的一种基于多任务神经网络的驾驶行为检测方法和装置，该方法包括：基于基础神经网络的卷积层确定第一神经网络，第一神经网络包括：第一输出网络和第二输出网络；基于基础神经网络和HourGlass网络确定第二神经网络，并基于第一神经网络和第二神经网络确定第三神经网络；然后使用样本信息对第三神经网络进行训练，最后基于训练好的第三神经网络对样本信息进行预测，其中，第一输出网络用于预测样本的关键点坐标，第二输出网络用于预测样本的头部姿势角度。该方法可以缓解现有驾驶行为检测技术中的运行耗时长、预测准确度低的问题，从而实现提升计算性能的效果。
节省计算时间、提升检测精度的效果。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于多任务神经网络的驾驶行为检测方法的流程示意图；
图2为本发明实施例提供的一种HourGlass网络结构示意图；
图3为本发明实施例提供的一种多任务神经网络的结构示意图；
图4为本发明实施例提供的一种基于多任务神经网络的驾驶行为检测装置的结构示意图；
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
对驾驶员的驾驶行为进行检测和监督对有效降低交通事故的发生有重要意义。驾驶员疲劳监测技术一般对驾驶员进行头部姿势估计和人脸关键点检测，从而实现驾驶员的注意力检测以及人脸验证等。但是现有的驾驶行为检测技术在处理头部姿势估计和人脸关键点检测的时候一般是在人脸检测框架后，采用单独两个网络分别对人脸ROI做头部姿势的估计和人脸关键点的检测，这种方式在嵌入式系统上耗时很大。即现有技术在同时进行头部姿势估计和人脸关键点检测时，通常需要采用单独的神经网络实现，存在运行耗时长、预测准确度低的问题。
基于此，本发明实施例提供了一种基于多任务神经网络的驾驶行为检测方法和装置，通过该方法可以缓解现有技术中存在的运行耗时长、预测准确度低的技术问题。为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于多任务神经网络的驾驶行为检测方法进行详细介绍，参见图1所示的一种基于多任务神经网络的驾驶行为检测方法的流程示意图，该方法可以由电子设备执行，主要包括以下S110至S150：
S110，基于基础神经网络的卷积层确定第一神经网络，第一神经网络包括：第一输出网络和第二输出网络；
其中，该基础神经网络可以是包括卷积层的神经网络，作为一个具体的示例，基础神经网络可以是轻量化网络MobilenetV2或残差网络ResNet。
在一些实施方式中，上述第一输出网络可以是关键点检测网络，该关键点检测网络可以用于预测输入图像的关键点坐标；第二输出网络可以是头部姿势估计网络，该头部姿势估计网络可以用于预测输入图像的头部姿势的角度。
该第一神经网络的构建方法是：在基础神经网络中选取指定数量个卷积层与第一输出网络的卷积层连接，将基础神经网络的最后一个卷积层与第二输出网络的卷积层连接。这样构建的第一神经网络可以同时实现关键点检测和头部姿势估计两种功能，能够减少运算时间，提高预测的效率。
S120，基于基础神经网络和HourGlass网络确定第二神经网络；
其中，HourGlass网络通常由图2的(A)部分所示的结构组成，图中每个方块均为图2的(B)部分所示的残差模块。
第二神经网络由基础神经网络和HourGlass网络融合而成。在一些实施方式中，可以在基础神经网络中抽取若干个卷积层，作为第一HourGlass网络的降采样卷积层，例如图2的(A)部分中左边的降采样卷积部分(也称下采样卷积部分)。第一HourGlass网络还包括与降采样卷积层相同数量的上采样卷积层，例如图2的(A)部分中右边的上采样卷积部分。这样就将基础模型和HourGlass网络融合，成功构建了第一级联网络，该第一级联网络可以作为第二神经网络。
但是为了得到更好的训练效果，还可以将若干个HourGlass网络连接起来构建第二级联网络，再将该第二级联网络连接至第一级联网络后，构成多个HourGlass网络组成的第二神经网络。作为一个具体的示例，构建第二级联网络的HourGlass网络可以是3个。由多个HourGlass网络构成的第二神经网络的预测结果显著优于基础神经网络以及单个HourGlass网络的预测结果，具有提高预测精度的效果。
S130，基于第一神经网络和第二神经网络确定第三神经网络；
参见图3，第三神经网络包括：由基础神经网络和HourGlass网络融合后的第二神经网络、基于基础神经网络的卷积层确定的第一输出网络和第二输出网络。因此第三神经网络可以包括至少三个损失函数，分别是：第二神经网络的融合损失函数、第一输出网络的第一损失函数和第二输出网络的第二损失函数。上述损失函数在训练神经网络时可以加入优化器，通过对损失函数及其参数的训练，从而实现对相应神经网络的训练。
S140，使用样本信息对第三神经网络进行训练；
其中，样本信息包括样本的头部图像，头部图像包括样本的人脸信息。
由于第三神经网络包括第二神经网络、第一输出网络和第二输出网络，则使用样本信息对第三神经网络进行训练即包括：使用样本信息分别对第二神经网络、第一输出网络和第二输出网络进行训练。
作为一个具体的示例，该训练过程可以包括：
步骤(A)：使用样本信息对第一输出网络的第一损失函数和第二输出网络的第二损失函数进行训练；
步骤(B)：基于第一损失函数和第二损失函数的训练结果，对第二神经网络的融合损失函数进行训练。
或者，该训练过程可以包括：
步骤(C)：使用样本信息同时对第一输出网络的第一损失函数、第二输出网络的第二损失函数和第二神经网络的融合损失函数进行训练。
在训练过程中，为了提高训练参数的精度，可以对第一级联网络和第二级联网络构成的第二神经网络进行训练，能够提高第二神经网络的融合损失函数的训练精度。
S150，基于训练好的第三神经网络对样本信息进行预测；
其中，第一输出网络用于预测样本的关键点坐标，第二输出网络用于预测样本的头部姿势角度。
为了提高计算的速度，在预测时可以选择只包括第一级联网络的第二神经网络与第一输出网络、第二输出网络构成的第三神经网络进行预测，能够提高预测的效率，节省计算性能。
本申请实施例提供的一种基于多任务神经网络的驾驶行为检测方法包括：基于基础神经网络的卷积层确定第一神经网络，第一神经网络包括：第一输出网络和第二输出网络；基于基础神经网络和HourGlass网络确定第二神经网络，并基于第一神经网络和第二神经网络确定第三神经网络；然后使用样本信息对第三神经网络进行训练，最后基于训练好的第三神经网络对样本信息进行预测，其中，第一输出网络用于预测样本的关键点坐标，第二输出网络用于预测样本的头部姿势角度。该方法可以缓解现有驾驶行为检测技术中的运行耗时长、预测准确度低的问题，从而实现提升计算性能的效果。
本申请实施例还提供了一种基于多任务神经网络的驾驶行为检测装置，参照图4，该装置包括：
第一确定模块310，用于基于基础神经网络的卷积层确定第一神经网络，第一神经网络包括：第一输出网络和第二输出网络；
第二确定模块320，用于基于基础神经网络和HourGlass网络确定第二神经网络；
第三确定模块330，用于基于第一神经网络和第二神经网络确定第三神经网络；
训练模块340，用于使用样本信息对第三神经网络进行训练；样本信息包括样本的头部图像，头部图像包括样本的人脸信息；
预测模块350，用于基于训练好的第三神经网络对样本信息进行预测，其中，第一输出网络用于预测样本的关键点坐标，第二输出网络用于预测样本的头部姿势角度。
在一些实施方式中，第一确定模块还用于：
将基础神经网络中指定数量个卷积层与第一输出网络的卷积层连接；
将基础神经网络的最后一个卷积层与第二输出网络的卷积层连接。
其中，第一输出网络包括关键点检测网络；第二输出网络包括头部姿势估计网络。
在一些实施方式中，第二确定模块还用于：将基础神经网络中的若干个卷积层作为第一HourGlass网络的降采样卷积层，构建第一级联网络；其中，第一HourGlass网络还包括与降采样卷积层相同数量的上采样卷积层。
在一些实施方式中，第二确定模块还用于：将若干个HourGlass网络连接，构建第二级联网络；在第一级联网络后连接第二级联网络，确定第二神经网络。
在一些实施方式中，训练模块还用于：使用样本信息对第一输出网络的第一损失函数和第二输出网络的第二损失函数进行训练；基于第一损失函数和第二损失函数的训练结果，对第二神经网络的融合损失函数进行训练。
在一些实施方式中，训练模块还用于：使用样本信息同时对第一输出网络的第一损失函数、第二输出网络的第二损失函数和第二神经网络的融合损失函数进行训练。
本申请实施例所提供的基于多任务神经网络的驾驶行为检测装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。本申请实施例提供的基于多任务神经网络的驾驶行为检测装置与上述实施例提供的基于多任务神经网络的驾驶行为检测方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本申请实施例还提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。
图5为本申请实施例提供的一种电子设备的结构示意图，该电子设备400包括：处理器40，存储器41，总线42和通信接口43，所述处理器40、通信接口43和存储器41通过总线42连接；处理器40用于执行存储器41中存储的可执行模块，例如计算机程序。
其中，存储器41可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线42可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器41用于存储程序，所述处理器40在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中，或者由处理器40实现。
处理器40可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器40读取存储器41中的信息，结合其硬件完成上述方法的步骤。
对应于上述方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述方法的步骤。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于多任务神经网络的驾驶行为检测方法，其特征在于，包括：
基于基础神经网络的卷积层确定第一神经网络，所述第一神经网络包括：第一输出网络和第二输出网络；
基于所述基础神经网络和HourGlass网络确定第二神经网络；
基于所述第一神经网络和所述第二神经网络确定第三神经网络，其中，第三神经网络包括：由基础神经网络和HourGlass网络融合后的第二神经网络、基于基础神经网络的卷积层确定的第一输出网络和第二输出网络；
使用样本信息对所述第三神经网络进行训练；所述样本信息包括样本的头部图像，所述头部图像包括所述样本的人脸信息；
基于训练好的所述第三神经网络对所述样本信息进行预测，其中，所述第一输出网络用于预测所述样本的关键点坐标，所述第二输出网络用于预测所述样本的头部姿势角度；
其中，基于基础神经网络的卷积层确定第一神经网络的步骤，包括：
将基础神经网络中指定数量个卷积层与第一输出网络的卷积层连接；
将所述基础神经网络的最后一个卷积层与第二输出网络的卷积层连接，其中，所述第一输出网络包括关键点检测网络；所述第二输出网络包括头部姿势估计网络；
其中，基于所述基础神经网络和HourGlass网络确定第二神经网络的步骤，包括：
将所述基础神经网络中的若干个卷积层作为第一HourGlass网络的降采样卷积层，构建第一级联网络；
其中，所述第一HourGlass网络还包括与降采样卷积层相同数量的上采样卷积层；
其中，基于所述基础神经网络和HourGlass网络确定第二神经网络的步骤，还包括：
将若干个HourGlass网络连接，构建第二级联网络；
在所述第一级联网络后连接所述第二级联网络，确定第二神经网络；
在训练过程中，对第一级联网络和第二级联网络构成的第二神经网络进行训练；在预测时，选择只包括第一级联网络的第二神经网络与第一输出网络、第二输出网络构成的第三神经网络进行预测。
2.根据权利要求1所述的基于多任务神经网络的驾驶行为检测方法，其特征在于，使用样本信息对所述第三神经网络进行训练的步骤，包括：
使用样本信息对所述第一输出网络的第一损失函数和所述第二输出网络的第二损失函数进行训练；
基于所述第一损失函数和所述第二损失函数的训练结果，对所述第二神经网络的融合损失函数进行训练。
3.根据权利要求1所述的基于多任务神经网络的驾驶行为检测方法，其特征在于，使用样本信息对所述第二神经网络进行训练的步骤，包括：
使用样本信息同时对所述第一输出网络的第一损失函数、所述第二输出网络的第二损失函数和所述第二神经网络的融合损失函数进行训练。
4.一种基于多任务神经网络的驾驶行为检测装置，其特征在于，包括：
第一确定模块，用于基于基础神经网络的卷积层确定第一神经网络，所述第一神经网络包括：第一输出网络和第二输出网络；
第二确定模块，用于基于所述基础神经网络和HourGlass网络确定第二神经网络；
第三确定模块，用于基于所述第一神经网络和所述第二神经网络确定第三神经网络，其中，第三神经网络包括：由基础神经网络和HourGlass网络融合后的第二神经网络、基于基础神经网络的卷积层确定的第一输出网络和第二输出网络；
训练模块，用于使用样本信息对所述第三神经网络进行训练；所述样本信息包括样本的头部图像，所述头部图像包括所述样本的人脸信息；
预测模块，用于基于训练好的所述第三神经网络对所述样本信息进行预测，其中，所述第一输出网络用于预测所述样本的关键点坐标，所述第二输出网络用于预测所述样本的头部姿势角度；
其中，所述第一确定模块还用于：将基础神经网络中指定数量个卷积层与第一输出网络的卷积层连接；将所述基础神经网络的最后一个卷积层与第二输出网络的卷积层连接，其中，所述第一输出网络包括关键点检测网络；所述第二输出网络包括头部姿势估计网络；
其中，所述第二确定模块还用于：将所述基础神经网络中的若干个卷积层作为第一HourGlass网络的降采样卷积层，构建第一级联网络；其中，所述第一HourGlass网络还包括与降采样卷积层相同数量的上采样卷积层；
其中，所述第二确定模块还用于：将若干个HourGlass网络连接，构建第二级联网络；在所述第一级联网络后连接所述第二级联网络，确定第二神经网络；
在训练过程中，对第一级联网络和第二级联网络构成的第二神经网络进行训练；在预测时，选择只包括第一级联网络的第二神经网络与第一输出网络、第二输出网络构成的第三神经网络进行预测。
5.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至3任一项所述的方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求1至3任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011207383.1A CN112287855B (zh) | 2020-11-02 | 2020-11-02 | 基于多任务神经网络的驾驶行为检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011207383.1A CN112287855B (zh) | 2020-11-02 | 2020-11-02 | 基于多任务神经网络的驾驶行为检测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112287855A CN112287855A (zh) | 2021-01-29 |
| CN112287855B true CN112287855B (zh) | 2024-05-10 |
Family
ID=74350376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011207383.1A Active CN112287855B (zh) | 2020-11-02 | 2020-11-02 | 基于多任务神经网络的驾驶行为检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112287855B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112926553B (zh) * | 2021-04-25 | 2021-08-13 | 北京芯盾时代科技有限公司 | 一种动作检测网络的训练方法及装置 |
| CN113537115A (zh) * | 2021-07-26 | 2021-10-22 | 东软睿驰汽车技术（沈阳）有限公司 | 驾驶员的驾驶状态获取方法、装置及电子设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107038422A (zh) * | 2017-04-20 | 2017-08-11 | 杭州电子科技大学 | 基于空间几何约束深度学习的疲劳状态识别方法 |
| CN108229490A (zh) * | 2017-02-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 关键点检测方法、神经网络训练方法、装置和电子设备 |
| WO2018121737A1 (zh) * | 2016-12-30 | 2018-07-05 | 北京市商汤科技开发有限公司 | 关键点预测、网络训练及图像处理方法和装置、电子设备 |
| CN108664885A (zh) * | 2018-03-19 | 2018-10-16 | 杭州电子科技大学 | 基于多尺度级联HourGlass网络的人体关键点检测方法 |
| CN109376681A (zh) * | 2018-11-06 | 2019-02-22 | 广东工业大学 | 一种多人姿态估计方法及系统 |
| CN110084180A (zh) * | 2019-04-24 | 2019-08-02 | 北京达佳互联信息技术有限公司 | 关键点检测方法、装置、电子设备及可读存储介质 |
| CN110309723A (zh) * | 2019-06-04 | 2019-10-08 | 东南大学 | 一种基于人体特征细分类的驾驶员行为识别方法 |
| CN110443222A (zh) * | 2019-08-14 | 2019-11-12 | 北京百度网讯科技有限公司 | 用于训练脸部关键点检测模型的方法和装置 |
| CN110503063A (zh) * | 2019-08-28 | 2019-11-26 | 东北大学秦皇岛分校 | 基于沙漏卷积自动编码神经网络的跌倒检测方法 |
| CN110807380A (zh) * | 2019-10-22 | 2020-02-18 | 北京达佳互联信息技术有限公司 | 一种人体关键点检测方法及装置 |
| CN111222522A (zh) * | 2018-11-23 | 2020-06-02 | 北京市商汤科技开发有限公司 | 神经网络训练、路面检测、智能驾驶控制方法和装置 |
| CN111814661A (zh) * | 2020-07-07 | 2020-10-23 | 西安电子科技大学 | 基于残差-循环神经网络的人体行为识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109960986A (zh) * | 2017-12-25 | 2019-07-02 | 北京市商汤科技开发有限公司 | 人脸姿态分析方法、装置、设备、存储介质以及程序 |
| CN108725440B (zh) * | 2018-04-20 | 2020-11-27 | 深圳市商汤科技有限公司 | 前向碰撞控制方法和装置、电子设备、程序和介质 |
-
2020
- 2020-11-02 CN CN202011207383.1A patent/CN112287855B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018121737A1 (zh) * | 2016-12-30 | 2018-07-05 | 北京市商汤科技开发有限公司 | 关键点预测、网络训练及图像处理方法和装置、电子设备 |
| CN108229490A (zh) * | 2017-02-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 关键点检测方法、神经网络训练方法、装置和电子设备 |
| CN107038422A (zh) * | 2017-04-20 | 2017-08-11 | 杭州电子科技大学 | 基于空间几何约束深度学习的疲劳状态识别方法 |
| CN108664885A (zh) * | 2018-03-19 | 2018-10-16 | 杭州电子科技大学 | 基于多尺度级联HourGlass网络的人体关键点检测方法 |
| CN109376681A (zh) * | 2018-11-06 | 2019-02-22 | 广东工业大学 | 一种多人姿态估计方法及系统 |
| CN111222522A (zh) * | 2018-11-23 | 2020-06-02 | 北京市商汤科技开发有限公司 | 神经网络训练、路面检测、智能驾驶控制方法和装置 |
| CN110084180A (zh) * | 2019-04-24 | 2019-08-02 | 北京达佳互联信息技术有限公司 | 关键点检测方法、装置、电子设备及可读存储介质 |
| CN110309723A (zh) * | 2019-06-04 | 2019-10-08 | 东南大学 | 一种基于人体特征细分类的驾驶员行为识别方法 |
| CN110443222A (zh) * | 2019-08-14 | 2019-11-12 | 北京百度网讯科技有限公司 | 用于训练脸部关键点检测模型的方法和装置 |
| CN110503063A (zh) * | 2019-08-28 | 2019-11-26 | 东北大学秦皇岛分校 | 基于沙漏卷积自动编码神经网络的跌倒检测方法 |
| CN110807380A (zh) * | 2019-10-22 | 2020-02-18 | 北京达佳互联信息技术有限公司 | 一种人体关键点检测方法及装置 |
| CN111814661A (zh) * | 2020-07-07 | 2020-10-23 | 西安电子科技大学 | 基于残差-循环神经网络的人体行为识别方法 |
Non-Patent Citations (7)
| Title |
|---|
| An Occluded Stacked Hourglass Approach to Facial Landmark Localization and Occlusion Estimation;Kevan Yuen;《IEEE Transactions on Intelligent Vehicles ( Volume: 2, Issue: 4, December 2017)》;20171113;1-10 * |
| Kevan Yuen.Looking at Faces in a Vehicle: A Deep CNN Based Approach and Evaluation.《2016 IEEE 19th International Conference on Intelligent Transportation Systems (ITSC)》.2016,649-654. * |
| Looking at Faces in a Vehicle: A Deep CNN Based Approach and Evaluation;Kevan Yuen;《2016 IEEE 19th International Conference on Intelligent Transportation Systems (ITSC)》;649-654 * |
| Stacked Hourglass Network for Robust Facial Landmark Localisation;Jing Yang;《2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)》;1-10 * |
| 基于Stacked Hourglass网络的二维人体骨骼关键点检测;夏瀚笙;《万方》;1-67 * |
| 基于多尺度级联沙漏网络的人体姿势估计;都文龙;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20200115;I138-1241 * |
| 夏瀚笙.基于Stacked Hourglass网络的二维人体骨骼关键点检测.《万方》.2020,1-67. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112287855A (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11501001B2 (en) | Techniques to detect perturbation attacks with an actor-critic framework | |
| CN108256506B (zh) | 一种视频中物体检测方法及装置、计算机存储介质 | |
| CN112287855B (zh) | 基于多任务神经网络的驾驶行为检测方法和装置 | |
| US10147315B2 (en) | Method and apparatus for determining split lane traffic conditions utilizing both multimedia data and probe data | |
| EP3889825A1 (en) | Vehicle lane line detection method, vehicle, and computing device | |
| CN109993980B (zh) | 交通流量预测方法、装置、计算机设备及存储介质 | |
| CN111783665A (zh) | 一种动作识别方法、装置、存储介质和电子设备 | |
| CN114419679B (zh) | 基于可穿戴设备数据的数据分析方法、装置及系统 | |
| CN111639195B (zh) | 一种知识图谱的显示方法、显示装置及可读存储介质 | |
| WO2023092982A1 (zh) | 状态检测方法、装置、计算机设备、存储介质和程序产品 | |
| CN110796115B (zh) | 图像检测方法、装置、电子设备及可读存储介质 | |
| CN118298169B (zh) | 一种基于大模型引导的图像分割方法 | |
| CN111860512B (zh) | 一种车辆识别方法、装置、电子设备及计算机可读存储介质 | |
| CN113642521B (zh) | 红绿灯识别质量的评价方法、装置和电子设备 | |
| CN116152637A (zh) | 自动驾驶感知模型的评测方法、计算机设备和存储介质 | |
| WO2023124385A1 (zh) | 摄像装置遮挡检测方法、装置、电子设备、存储介质及计算机程序产品 | |
| CN113221907A (zh) | 一种车辆部件分割方法、装置、设备及存储介质 | |
| CN118038389A (zh) | 用于检测道路分隔线的方法和装置 | |
| CN115565148A (zh) | 道路图像的检测方法、装置、存储介质和电子装置 | |
| CN114882247A (zh) | 图像的处理方法、装置和电子设备 | |
| CN113963238A (zh) | 多任务感知识别模型的构建方法以及多任务感知识别方法 | |
| KR101740983B1 (ko) | 차량 운전자와 관련될 수 있는 센싱 데이터의 효용성 결정 장치 및 방법 | |
| JP6692610B2 (ja) | 検出プログラム、検出方法および検出装置 | |
| CN111038496B (zh) | 车辆预警方法、装置、终端设备以及计算机可读存储介质 | |
| CN117972409A (zh) | 训练数据的处理方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |