CN113705292A

CN113705292A - 时序动作检测方法、装置、计算机设备及存储介质

Info

Publication number: CN113705292A
Application number: CN202110218938.0A
Authority: CN
Inventors: 林楚铭; 徐程明; 罗栋豪; 王亚彪; 邰颖; 汪铖杰; 李季檩; 黄飞跃
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2021-02-26
Filing date: 2021-02-26
Publication date: 2021-11-26

Abstract

本申请提供了一种时序动作检测方法、装置、计算机设备及存储介质，属于人工智能领域。方法包括：对连续的多个图像帧进行特征提取，得到不同长度的多个时序特征；基于多个时序特征中最长的时序特征，获取目标特征；对于多个时序特征中的任一时序特征，基于时序特征，获取第一时间定位信息，第一时间定位信息表征时序特征中各目标时刻对应的动作开始时刻和动作结束时刻；基于时序特征、第一时间定位信息以及目标特征，对第一时间定位信息进行修正，得到第二时间定位信息。上述技术方案，不需要对各目标时刻设置锚框值来预测对应的定位框，从而减少了处理量，加快了动作检测速度。

Description

时序动作检测方法、装置、计算机设备及存储介质

技术领域

本申请涉及人工智能领域，特别涉及一种时序动作检测方法、装置、计算机设备及存储介质。

背景技术

时序动作识别技术已经广泛应用于智能安防、老弱群体监护以及机器人研究等多个领域。时序动作识别技术中通常需要进行时序动作检测。时序动作检测是指找出某一时间段内的动作片段，从而确定从哪个时刻开始到哪个时刻结束发生了什么类型的动作。由于动作边界的模糊性，使得时序动作检测成为一项具有挑战性的任务。

很多时序动作检测方法都参考了anchor(锚框值)类的物体检测方法，但是这类方法通常需要设置视频段的锚框值才能进行检测，导致处理量大、处理速度慢。

发明内容

本申请实施例提供了一种时序动作检测方法、装置、计算机设备及存储介质，不需要对各目标时刻设置锚框值来预测对应的定位框，减少了处理量，加快了动作检测速度。所述技术方案如下：

一方面，提供了一种时序动作检测方法，所述方法包括：

对连续的多个图像帧进行特征提取，得到不同长度的多个时序特征；

基于所述多个时序特征中最长的时序特征，获取目标特征；

对于所述多个时序特征中的任一时序特征，基于所述时序特征，获取第一时间定位信息，所述第一时间定位信息表征所述时序特征中各目标时刻对应的动作开始时刻和动作结束时刻；

基于所述时序特征、所述第一时间定位信息以及所述目标特征，对所述第一时间定位信息进行修正，得到第二时间定位信息。

在一种可选的实现方式中，所述对连续的多个图像帧进行特征提取，得到不同长度的多个时序特征之前，所述方法还包括：

从待处理视频中提取连续的多个图像帧；

将所述多个图像帧调整为目标尺寸，得到所述目标尺寸的多个图像帧。

在一种可选的实现方式中，所述时序动作检测方法基于时序动作检测模型实现，所述时序动作检测模型包括特征提取层、第一处理层以及第二处理层；

所述特征提取层用于对所述连续的多个图像帧进行特征提取，得到所述不同长度的多个时序特征；

所述特征提取层还用于基于所述多个时序特征中最长的时序特征，获取目标特征；

所述第一处理层，用于对于所述多个时序特征中的任一时序特征，对所述时序特征进行处理，得到所述第一时间定位信息；

所述第二处理层，用于基于所述时序特征、所述第一时间定位信息以及所述目标特征，对所述第一时间定为信息进行修正，得到所述第二时间定位信息。

在一种可选的实现方式中，时序动作检测模型的训练步骤包括：

基于所述特征提取层，对连续的多个样本图像帧进行特征提取，得到不同长度的多个样本时序特征；

基于所述特征提取层和所述多个样本时序特征中最长的时序特征，获取样本目标特征；

对于任一样本时序特征，基于所述第一处理层和所述样本时序特征，获取第一样本时间定位信息和第一样本分类信息，所述第一样本时间定位信息表征所述样本时序特征中各样本时刻对应的动作开始时刻和动作结束时刻，所述第一样本分类信息表征所述样本时序特征中各样本时刻属于不同动作类别的可能性；

基于所述第二处理层、所述样本时序特征、所述第一样本时间定位信息以及样本目标特征，对所述第一样本时间定位信息进行修正，得到第二样本时间定位信息；

基于所述第一样本时间定位信息、所述第一样本分类信息、所述第二样本时间定位信息以及所述第二样本分类信息，训练所述时序动作检测模型。

在一种可选的实现方式中，方法还包括：

基于所述样本时序特征、所述第一样本时间定位信息以及所述样本目标特征，获取激活学习损失和约束学习损失，所述激活学习损失和约束学习损失用于约束包含动作开始信息的特征和包含动作结束信息的特征；

基于所述激活学习损失和所述约束学习损失，训练所述时序动作检测模型。

在一种可选的实现方式中，所述基于所述第一样本时间定位信息、所述第一样本分类信息、所述第二样本时间定位信息以及所述第二样本分类信息，训练所述时序动作检测模型，包括：

基于所述第一样本时间定位信息，获取第一坐标回归损失值；

基于所述第一样本分类信息，获取第一分类损失值；

基于所述第二样本时间定位信息，获取第二坐标回归损失值；

基于所述第二样本分类信息，获取第二分类损失值；

基于所述第一坐标回归损失值、所述第一分类损失值、所述第二坐标回归损失值以及所述第二分类损失值，调整所述时序动作检测模型的参数。

另一方面，提供了一种时序动作检测装置，所述装置包括：

特征提取模块，用于对连续的多个图像帧进行特征提取，得到不同长度的多个时序特征；

所述特征提取模块，还用于基于所述多个时序特征中最长的时序特征，获取目标特征；

第一定位信息获取模块，用于对于所述多个时序特征中的任一时序特征，基于所述时序特征，获取第一时间定位信息，所述第一时间定位信息表征所述时序特征中各目标时刻对应的动作开始时刻和动作结束时刻；

第二定位信息获取模块，用于基于所述时序特征、所述第一时间定位信息以及所述目标特征，对所述第一时间定位信息进行修正，得到第二时间定位信息。

在一种可选的实现方式中，所述特征提取模块，用于对所述连续的多个图像帧进行卷积处理，得到原始时序特征，所述原始时序特征中包括属于时间维度的特征值；基于所述原始时序特征，生成所述不同长度的多个时序特征。

在一种可选的实现方式中，所述特征提取模块，用于从所述时序特征中获取包含定位相关信息的第一特征；基于所述第一特征，获取所述各目标时刻对应的动作开始时刻和动作结束时刻。

在一种可选的实现方式中，所述装置还包括：

第一分类信息获取模块，用于从所述时序特征中获取包含分类相关信息的第二特征；基于所述第二特征，获取所述各目标时刻的第一分类信息，所述第一分类信息表征所述各目标时刻属于不同动作类别的可能性。

在一种可选的实现方式中，所述特征提取模块，用于从所述多个时序特征中获取最长的时序特征；对所述最长的时序特征进行上采样处理和卷积处理，得到所述目标特征。

在一种可选的实现方式中，所述第一定位信息获取模块，包括：

显著性特征获取子模块，用于基于所述第一时间定位信息，对所述时序特征和所述目标特征进行池化处理，得到显著性特征，所述显著性特征表征所述时序特征和所述目标特征中所述各目标时刻的动作开始时刻范围对应的最大特征值以及动作结束时刻范围对应的最大特征值；

偏移量获取子模块，用于基于所述显著性特征，获取所述各目标时刻对应的第一偏移量和第二偏移量，所述第一偏移量表征所述各目标时刻对应的动作开始时刻的偏移量，所述第二偏移量表征所述各目标时刻对应的动作结束时刻的偏移量；

定位信息修正子模块，用于基于所述各目标时刻对应的第一偏移量和第二偏移量，修正所述各目标时刻对应的动作开始时刻和动作结束时刻，得到所述第二时间定位信息。

在一种可选的实现方式中，所述显著性特征获取子模块，包括：

第一特征获取单元，用于从所述时序特征中提取中心特征，所述中心特征表征所述时序特征中所述各目标时刻对应的特征值；

第二特征获取单元，用于基于所述第一时间定位信息，对所述时序特征进行池化处理，获取第一边界特征，所述第一边界特征表征所述时序特征中所述各目标时刻的动作开始时刻范围对应的最大特征值以及动作结束时刻范围对应的最大特征值；

第三特征获取单元，用于基于所述第一时间定位信息，对所述目标特征进行池化处理，获取第二边界特征，所述第二边界特征表征所述目标特征中所述各目标时刻的动作开始时刻范围对应的最大特征值以及动作结束时刻范围对应的最大特征值；

第四特征获取单元，用于基于所述中心特征、所述第一边界特征以及所述第二边界特征，获取所述显著性特征。

在一种可选的实现方式中，所述第一特征获取单元，用于对所述时序特征中所述各目标时刻分别进行特征提取，得到所述中心特征。

在一种可选的实现方式中，所述第二特征获取单元，包括：

第一特征处理子单元，用于对所述时序特征进行卷积处理，得到第一输入特征；

第一确定子单元，用于基于所述第一时间定位信息，确定所述各目标时刻对应的第一动作开始范围和第一动作结束范围，所述第一动作开始范围表征所述各目标时刻对应的第一动作开始时刻所属的范围，所述第一动作结束范围表征所述各目标时刻对应的第一动作结束时刻所属的范围；

第一特征获取子单元，用于基于所述第一动作开始范围和所述第一动作结束范围对所述第一输入特征进行池化处理，获取所述第一边界特征。

在一种可选的实现方式中，所述第一边界特征包括所述各目标时刻的第一动作开始边界特征和第一动作结束边界特征；

所述第一特征获取子单元，用于将所述第一输入特征拆分为第三特征和第四特征，所述第三特征包括动作开始信息，所述第四特征包括动作结束信息；将所述第三特征内，与所述各目标时刻的第一动作开始范围对应的最大特征值，分别确定为所述各目标时刻的第一动作开始边界特征；将所述第四特征内，与所述各目标时刻的第一动作结束范围对应的最大特征值，分别确定为所述各目标时刻的第一动作结束边界特征。

在一种可选的实现方式中，所述第二特征获取单元，包括：

第二特征处理子单元，用于对所述目标特征进行卷积处理，得到第二输入特征；

第二确定子单元，用于基于所述第一时间定位信息，确定所述各目标时刻对应的第二动作开始范围和第二动作结束范围，所述第二动作开始范围表征所述各目标时刻对应的第二动作开始时刻所属的范围，所述第二动作结束范围表征所述各目标时刻对应的动作结束时刻所属的范围；

第二特征获取子单元，用于基于所述第二动作开始范围和第二动作结束范围对所述第二输入特征进行池化处理，获取所述第二边界特征。

在一种可选的实现方式中，所述第二边界特征包括所述各目标时刻的第二动作开始边界特征和第二动作结束边界特征；

所述第二特征获取子单元，用于将所述第二输入特征拆分为第五特征和第六特征，所述第五特征包括动作开始信息，所述第六特征包括动作结束信息；将所述第五特征内，与所述各目标时刻的第二动作开始范围对应的最大特征值，分别确定为所述各目标时刻的第二动作开始边界特征；将所述第六特征内，与所述各目标时刻的第二动作结束范围对应的最大特征值，分别确定为所述各目标时刻的第二动作结束边界特征。

在一种可选的实现方式中，所述装置还包括：

图像帧获取模块，用于从待处理视频中提取连续的多个图像帧；将所述多个图像帧调整为目标尺寸，得到所述目标尺寸的多个图像帧。

在一种可选的实现方式中，所述时序动作检测装置基于时序动作检测模型实现，所述时序动作检测模型包括特征提取层、第一处理层以及第二处理层；

在一种可选的实现方式中，所述时序动作检测模型的训练步骤包括：

在一种可选的实现方式中，所述时序动作检测模型的训练步骤还包括：

基于所述第一样本分类信息，获取第一分类损失值；

基于所述第二样本分类信息，获取第二分类损失值；

另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段计算机程序，所述至少一段计算机程序由所述处理器加载并执行以实现本申请实施例中的时序动作检测方法中所执行的操作。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段计算机程序，所述至少一段计算机程序由处理器加载并执行以实现如本申请实施例中时序动作检测方法中所执行的操作。

另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该计算机设备执行上述各个方面或者各个方面的各种可选实现方式中提供的时序动作检测方法。

本申请实施例提供的技术方案带来的有益效果是：

本申请实施例提供的方案，通过从多个图像帧中提取不同长度的多个时序特征，分别对该多个时序特征进行粗糙的预测，得到粗糙的时间定位信息，再基于目标特征分别对该多个时序特征粗糙的时间定位信息进行修正，得到更为准确的时间定位信息。该方案不需要对各目标时刻设置锚框值来预测对应的定位框，减少了处理量，加快了动作检测速度。而且多个时序特征中最长的时序特征包含的特征最多，基于最长的时序特征获取的目标特征在时序上的粒度较细，相较于其他时序特征保留有较多的特征，基于该目标特征对该多个时序特征粗糙的时间定位信息进行修正时，能在减少处理量的基础上提高准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例提供的一种时序动作检测方法的实施环境示意图；

图2是根据本申请实施例提供的一种时序动作检测方法的流程图；

图3是根据本申请实施例提供的另一种时序动作检测方法的流程图；

图4是根据本申请实施例提供的一种时序动作检测模型的架构图；

图5是根据本申请实施例提供的一种获取显著性特征的示意图；

图6是根据本申请实施例提供的一种可视化的效果图；

图7是根据本申请实施例提供的一种特征可视化的效果图；

图8是根据本申请实施例提供的一种时序动作检测装置的框图；

图9是根据本申请实施例提供的一种终端的结构框图；

图10是根据本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

下面简单介绍一下本申请实施例用到的技术：

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3-Dimension，三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning,，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

mAP(Mean Average Precision，平均精度均值)，目标检测中衡量识别精度的指标。多个类别目标检测中，每个类别都可以根据recall(召回率)和percision(准确率)绘制一条曲线。AP就是该曲线下的面积，mAP意思是对每一类的AP再求平均。

IOU(Intersection-over-Union，交并比)，表示产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率或者说重叠度，也就是两者的交集与并集的比值。候选框与原标记框的相关度越高，该比值越高，最理想情况是候选框与原标记框完全重叠，即该比值为1。

本申请实施例提供的时序动作检测方法，能够应用于计算机设备中。可选地，该计算机设备为终端或服务器。下面首先以计算机设备为服务器为例，介绍一下本申请实施例提供的时序动作检测方法的实施环境，图1是根据本申请实施例提供的一种时序动作检测方法的实施环境示意图。参见图1，该实施环境包括终端101和服务器102。

终端101和服务器102能够通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

可选地，终端101是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。

可选地，服务器102是独立的物理服务器，也能够是多个物理服务器构成的服务器集群或者分布式系统，还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器102用于为支持时序动作检测的应用程序提供后台服务。可选地，服务器102承担主要工作，终端101承担次要工作；或者，服务器102承担次要工作，终端101承担主要工作；或者，服务器102和终端101二者之间采用分布式计算架构进行协同计算。

在该实施环境中，该支持时序动作检测的应用程序可以是监控类应用程序、社交类应用程序以及多媒体类应用程序等。

例如，该支持时序动作检测的应用程序是监控类应用程序，终端101拍摄监控视频，然后将该拍摄得到的监控视频发送至服务器102，该服务器102在接收到该监控视频后，采用本申请实施例提供的时序动作检测方法，确定该监控视频中人物的各动作的动作开始时刻和动作结束时刻，从而确定该监控视频中人物的动作片段，然后将该人物的动作片段发送至终端101，由终端101进行显示。

可选地，服务器102由接入服务器、时序动作检测服务器和数据库服务器构成。接入服务器用于为终端101提供接入服务。时序动作检测服务器用于提供时序动作检测服务。时序动作检测服务器可以是一台或多台。当时序动作检测服务器是多台时，存在至少两台时序动作检测服务器用于提供不同的服务，和/或，存在至少两台时序动作检测服务器用于提供相同的服务，比如以负载均衡方式提供同一种服务，本申请实施例对此不加以限定。可选地，时序动作检测服务器中设置有时序动作检测模型，从而基于该时序动作检测模型进行时序动作检测。

终端101可以泛指多个终端中的一个，本实施例仅以终端101来举例说明。本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量。本申请实施例对终端的数量和设备类型不加以限定。

在另一种可选的实现方式中，计算机设备为终端。可选地，终端是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端安装和运行有支持时序动作检测的应用程序。可选地，该应用程序是监控类应用程序、社交类应用程序以及多媒体类应用程序等。示意性的，终端是用户使用的终端，终端中运行的应用程序内登录有用户账号。

例如，该终端安装有多媒体类应用程序，终端基于该多媒体类应用程序获取待处理视频，然后采用本申请实施例提供的时序动作检测方法，对该视频中包括的人物动作进行检测，标注各动作的动作开始时刻和动作结束时刻，之后终端用户能够基于各动作的动作开始时刻和动作结束时刻对该视频进行剪辑，从而得到动作片段。

图2是根据本申请实施例提供的一种时序动作检测方法的流程图，如图2所示，在本申请实施例中以时序动作检测方法应用于计算机设备为例进行说明。该方法包括以下步骤：

201、计算机设备对连续的多个图像帧进行特征提取，得到不同长度的多个时序特征。

在本申请实施例中，该连续的多个图像帧为待检测视频中包括的所有图像帧，或者为待检测视频中包括的部分连续的图像帧，本申请实施例对此不进行限制。该多个时序特征中保留有该多个图像帧中时间维度的特征，该多个时序特征由计算机设备通过不同大小的卷积核卷积得到，由于采用的卷积核不同，使得时间维度缩减的快慢不同，如果时间维度的感受野尺寸比空间维度的大，将会合并不同物体的边缘信息，反之，将捕捉不到动态场景，因此采用不同卷积核能够得到不同长度的时序特征，不同长度的时序特征对应不同的时间长度。

202、计算机设备基于多个时序特征中最长的时序特征，获取目标特征。

在本申请实施例中，最长的时序特征中保留有最多的特征，计算机设备通过对最长的时序特征进行处理，能够得到保留有最多的特征对应的目标特征。在时序动作检测过程中，计算机设备在处理上述多个时序特征时，能够基于该目标特征进行辅助处理。

203、对于该多个时序特征中的任一时序特征，计算机设备基于该时序特征，获取第一时间定位信息，该第一时间定位信息表征该时序特征中各目标时刻对应的动作开始时刻和动作结束时刻。

在本申请实施例中，对于该多个时序特征中的任一时序特征，计算机设备根据该时序特征的长度，确定至少一个目标时刻。对于各目标时刻，计算机设备能够根据该时序特征，粗略地预测各目标时刻对应的动作开始时刻和动作结束时刻，得到该第一时间定位信息。其中，该动作开始时刻表示各目标时刻对应的动作的开始时刻，该动作结束时刻表示各目标时刻对应的动作的结束时刻。

204、计算机设备基于该时序特征、该第一时间定位信息以及该目标特征，对该第一时间定位信息进行修正，得到第二时间定位信息。

在本申请实施例中，计算机设备基于上述获取到的第一时间定位信息，从上述时序特征和目标特征中分别进一步提取与动作开始时刻和动作结束时刻相关的特征，通过引入目标特征，使得计算机设备能够更精细的预测各目标时刻对应的动作开始时刻和动作结束时刻，从而对该第一时间定位信息进行修正，得到较为准确的第二时间定位信息。

图3是根据本申请实施例提供的另一种时序动作检测方法的流程图，如图3所示，在本申请实施例中以时序动作检测方法应用于计算机设备为例进行说明。该方法包括以下步骤：

301、计算机设备对连续的多个图像帧进行特征提取，得到不同长度的多个时序特征。

在本申请实施例中，计算机设备能够获取需要进行时序动作检测的待处理视频，然后从该待处理视频中提取连续的多个图像帧，该多个图像帧为该待处理视频中包括的全部图像帧，或者为该待处理视频中包括的部分图像帧。可选的，计算机设备从待处理视频中提出连续的多个图像帧之后，将提取的多个图像帧调整为目标尺寸，得到该目标尺寸的多个图像帧。其中，该目标尺寸为时序动作检测模型的输入尺寸，计算机设备后续需要能够基于该时序动作检测模型进行时序动作检测，因此先将该多个图像帧调整为时序动作检测模型所需的目标尺寸。

例如，计算机设备从待处理视频中提取连续的N帧图像帧，然后将连续的N帧图像帧的尺寸处理成96×96，也即宽高均为96个像素点的图像帧。其中，N为大于一的正整数。当然，计算机设备还能够根据时序动作检测模型的需求，将该N帧图像帧调整为其他的尺寸，本申请实施例对此不进行限制。

在一种可选的实现方式中，时序动作检测模型中包括特征提取层，计算机设备能够基于该时序动作检测模型的特征提取层，对上述多个图像帧进行特征提取，从而得到不同长度的多个时序特征。其中，该特征提取层能够对该多个图像帧进行卷积处理，压缩空间维度的特征，保留时间维度的特征，从而得到原始时序特征。然后，计算机设备对该原始时序特征进行处理，以生成不同长度的多个时序特征。

可选地，计算机设备能够基于图像金字塔网络生成不同长度的多个时序特征，也能够基于步长为2的1D(一维)卷积网络和原始时序特征生成不同长度的多个时序特征，还能够基于步长为1的1D卷积网络对原始时序特征进行池化处理生成不同长度的多个时序特征，还能够基于步长为1的1D卷积网络对原始时序特征进行resize(改变尺寸)处理生成不同长度的多个时序特征，本申请实施例对生成不同长度的多个时序特征的方式不进行限制。

例如，如图4所示，图4是根据本申请实施例提供的一种时序动作检测模型的架构图。如图4所示，该时序动作检测模型包括特征提取层、第一处理层以及第二处理层。其中，该特征提取层包括I3D(Two-Stream Inflated 3D ConvNet，双流膨胀3D卷积网络)和图像金字塔网络。计算机设备将连续的N帧图像帧输入到I3D网络中，再基于I3D网络通过进行卷积处理将各图像帧的特征维度压缩成一维的原始时序特征，即压缩了空间维度的特征，保留了时间维度的特征。然后基于图像金字塔网络，对该原始时序特征进行处理，生成金字塔特征，金字塔包括多层，每层的金字塔特征即为不同长度的时序特征，例如f^l∈T_l×C，f^l表示第l层的金字塔特征，也即第l个时序特征，T_l表示该时序特征的长度，C表示该时序特征的通道数，l表示任意正整数。

302、计算机设备基于该多个时序特征中最长的时序特征，获取目标特征。

在本申请实施例中，由于位于金字塔网络底层的时序特征的长度较短，使得位于底层的时序特征包含的特征较少，因此，计算机设备还能够获取目标特征，该目标特征相较于其他时序特征保留有较多的特征。其中，该目标特征的获取方式为：计算机设备从上述多个时序特征中获取最长的时序特征，然后对该最长的时序特征进行上采样处理和卷积处理，得到目标特征。

例如，继续参见图4所示，计算机设备从金字塔特征中获取最长的时序特征f^l-i∈T_l-i×C，也即第(l-i)个时序特征，l和i表示正整数。T_l-i表示该最长的时序特征的长度，C表示该最长的时序特征的通道数。然后计算机设备对该最长的时序特征进行上采样处理和卷积处理，得到目标特征f_frame∈T×2C，T表示该目标特征的长度，2C表示该目标特征的通道数。如金字塔特征包括10个时序特征，l＝5，则i＝4时，f^l-i∈T_l-i×C为最长的时序特征。

303、对于该多个时序特征中的任一时序特征，计算机设备基于该时序特征，获取第一时间定位信息，该第一时间定位信息表征该时序特征中各目标时刻对应的动作开始时刻和动作结束时刻。

在本申请实施例中，计算机设备能够基于时序动作检测模型的第一处理层，对每个时序特征分别进行处理。对于该多个时序特征中的任一时序特征，计算机设备从该时序特征中获取第一特征，该第一特征包含定位相关信息，然后计算机设备基于该第一特征，获取各目标时刻对应的动作开始时刻和动作结束时刻。

可选地，计算机设备还能够用距离来度量目标时刻与动作开始时刻以及动作结束时刻之间的间隔，其中，距离与时刻按照一定比例换算，例如一个单位距离等于0.1秒、0.05秒或者0.01秒等。相应的，计算机设备能够基于该第一特征获取与各目标时刻相对应的动作开始距离和动作结束距离。然后计算机设备根据各目标时刻相对应的动作开始距离和动作结束距离，确定该目标时刻对应的动作开始时刻和动作结束时刻。

可选地，计算机设备还能够从上述时序特征中获取第二特征，该第二特征包含分类相关信息，计算机设备基于该第二特征，获取各目标时刻的第一分类信息，该第一分类信息表征各目标时刻属于不同动作类别的可能性。

例如，继续参见图4所示，以第l个时序特征fl为例，计算机设备从fl中提取包含定位相关信息的第一特征

从f^l中提取包含分类相关信息的第二特征

计算机设备将

输入第一回归器，基于该第一回归器对该第一特征进行处理，得到第一时间定位信息

(Coarse Boundary，也可以称为粗糙边界)，其中，

表示第l个时序特征中第j个目标时刻对应的动作开始时刻，

表示第l个时序特征中第j个目标时刻对应的动作结束时刻。计算机设备将

输入第一分类器，基于该第一分类器对该第二特征进行处理，得到各目标时刻的第一分类信息(Coarse Class，也可以称为粗糙的分类信息)，

表示第l个时序特征中第j个目标时刻的第一分类信息。

需要说明的是，计算机设备能够基于时序动作检测模型的第二处理层，对每个时序特征分别进行处理。相应的，计算机设备将基于时序动作检测模型的第一处理层得到的时序动作定位结果，也即上述第一时间定位信息，输入该时序动作检测模型的第二处理层。同时输入该第二处理层的还包括该时序特征以及上述目标特征。

304、计算机设备基于该第一时间定位信息，对该时序特征和该目标特征进行池化处理，得到显著性特征，该显著性特征表征该时序特征和该目标特征中该各目标时刻的动作开始时刻范围对应的最大特征值以及动作结束时刻范围对应的最大特征值。

在本申请实施例中，计算机设备通过第二处理层中的显著性优化单元来对时序特征和目标特征进行池化处理，以得到显著性特征。相应的，本步骤包括子步骤3041-子步骤3044。

3041、计算机设备从时序特征中提取中心特征，该中心特征表征该时序特征中该各目标时刻对应的特征值。

在本申请实施例中，计算机设备能够对该时序特征中各目标时刻分别进行特征提取，得到上述中心特征。

例如，参见图5所示，图5是根据本申请实施例提供的一种获取显著性特征的示意图。如图5中的(a)图所示，时序特征中用于定位的第一特征表示为

图5中的(a)图中线条1表示计算机设备对该时序特征中各目标时刻分别进行特征提取，得到中心特征。

3042、计算机设备基于该第一时间定位信息，对该时序特征进行池化处理，获取第一边界特征，该第一边界特征表征该时序特征中该各目标时刻的动作开始时刻范围对应的最大特征值以及动作结束时刻范围对应的最大特征值。

在本申请实施例中，计算机设备能够对该时序特征进行卷积处理，得到第一输入特征。然后基于第一时间定位信息，确定各目标时刻对应的第一动作开始范围和第一动作结束范围，该第一动作开始范围表征各目标时刻对应的第一动作开始时刻所属的范围，该第一动作结束范围表征各目标时刻对应的第一动作结束时刻所属的范围。然后计算机设备基于第一动作开始范围和第一动作结束范围对该第一输入特征进行池化处理，获取第一边界特征。

例如，继续参见图5所示，图5中的(a)图中线条2表示计算机设备对该时序特征进行卷积处理，得到第一输入特征T_l×2C。第一定位信息表示为

表示第k个目标时刻对应的动作开始时刻，

表示第k个时序特征中各目标时刻对应的动作结束时刻。在池化处理时，以计算机设备基于第一定位信息确定第k个目标时刻对应的第一动作开始范围

和对应的第一动作结束时刻所属的范围

其中，

表示第k个目标时刻对应的定位结果的时间长度。δ_a和δ_b用来控制动作开始范围和动作结束范围的大小，可选地，在实验中设置δ_a＝4，δ_b＝10，当然还可以设置其他值，本申请实施例对此不进行限制。

在一种可选的实现方式中，该第一边界特征包括各目标时刻的第一动作开始边界特征和第一动作结束边界特征。相应的，计算机设备基于第一动作开始范围和第一动作结束范围对该第一输入特征进行池化处理，获取第一边界特征的步骤包括：计算机设备将该第一输入特征拆分为第三特征和第四特征，该第三特征包括动作开始信息，该第四特征包括动作结束信息，然后计算机设备将该第三特征内，与该各目标时刻的第一动作开始范围对应的最大特征值，分别确定为该各目标时刻的第一动作开始边界特征，然后计算机设备将该第四特征内，与该各目标时刻的第一动作结束范围对应的最大特征值，分别确定为该各目标时刻的第一动作结束边界特征。

例如，继续参见图5所示，图5中的(a)图中第一输入特征按照通道数拆分为第三特征f^s∈T×C和第四特征f^e∈T×C。然后在池化处理时，如图5中的(b)图所示计算机设备在第一动作开始范围

内对第三特征采用最大值max处理函数获取最大特征值，得到各目标时刻的第一动作开始边界特征

计算机设备在第一动作结束范围

内对第四特征采用最大值max处理函数获取最大特征值，得到各目标时刻的第一动作结束边界特征

3043、计算机设备基于该第一时间定位信息，对该目标特征进行池化处理，获取第二边界特征，该第二边界特征表征该目标特征中该各目标时刻的动作开始时刻范围对应的最大特征值以及动作结束时刻范围对应的最大特征值。

在本申请实施例中，计算机设备对目标特征进行卷积处理，得到第二输入特征，然后计算机设备基于该第一时间定位信息，确定该各目标时刻对应的第二动作开始范围和第二动作结束范围，该第二动作开始范围表征该各目标时刻对应的第二动作开始时刻所属的范围，该第二动作结束范围表征该各目标时刻对应的动作结束时刻所属的范围。计算机设备基于该第二动作开始范围和第二动作结束范围对该第二输入特征进行池化处理，获取该第二边界特征。

例如，继续参见图5所示，图5中的(a)图中计算机设备对目标特征进行卷积处理，得到第二输入特征。计算机设备基于第一时间定位信息对该目标特征进行池化处理，池化处理的方式不再赘述。

在一种可选的实现方式中，该第二边界特征包括各目标时刻的第二动作开始边界特征和第二动作结束边界特征。相应的，计算机设备基于第二动作开始范围和第二动作结束范围对第二输入特征进行池化处理，获取第二边界特征的步骤包括：计算机设备将第二输入特征拆分为第五特征和第六特征，该第五特征包括动作开始信息，该第六特征包括动作结束信息，然后计算机设备将该第五特征内，与该各目标时刻的第二动作开始范围对应的最大特征值，分别确定为该各目标时刻的第二动作开始边界特征；然后计算机设备将该第六特征内，与该各目标时刻的第二动作结束范围对应的最大特征值，分别确定为该各目标时刻的第二动作结束边界特征。

例如，继续参见图5所示，图5中的(a)图中第二输入特征按照通道数拆分为第五特征

和第六特征

然后计算机设备按照图5中的(b)图所示的方式，基于第二动作开始范围和第二动作结束范围，确定各目标时刻的第二动作开始边界特征

和个目标时刻的第二动作结束边界特征

需要说明的是，各目标时刻的第一动作开始范围可以与各目标时刻的第二动作开始范围相同，也可以不同。各目标时刻的第一动作结束范围可以与各目标时刻的第二动作结束范围相同，也可以不同。本申请实施例对此不进行限制。

3044、计算机设备基于该中心特征、该第一边界特征以及该第二边界特征，获取显著性特征。

在本申请实施例中，上述中心特征包括一个通道，第一边界特征包括两个通道，第二边界特征包括两个通道。计算机设备将中心特征、第一边界特征以及第二边界特征在通道维度上拼接，构成一个多个通道的特征，然后对该多个通道的特征进行卷积处理，压缩通道数，得到显著性特征。

例如，继续参见图5所示，图5中的(a)图中计算机设备按照第一边界特征(包括

和

两个通道)、中心特征以及第二边界特征(包括

和

两个通道)的顺序进行拼接，然后再讲拼接后的特征在压缩为显著性特征

305、计算机设备基于该显著性特征，获取该各目标时刻对应的第一偏移量和第二偏移量，该第一偏移量表征该各目标时刻对应的动作开始时刻的偏移量，该第二偏移量表征该各目标时刻对应的动作结束时刻的偏移量。

在本申请实施例中，计算机设备通过第二处理层中的第二回归器获取对该显著性特征中包括定位相关信息的特征进行处理，获取各目标时刻对应的动作开始时刻的偏移量和各目标时刻对应的动作结束时刻的偏移量。其中，该第一偏移量是指各目标时刻相对于第一时间定位信息中各目标时刻对应的动作开始时刻的偏移量。该第二偏移量是指个目标时刻相对于第一时间定位信息中各目标时刻对应的动作结束时刻的偏移量。

在一种可选的实现方式中，计算机设备还能够基于该显著性特征，获取各目标时刻的第二分类信息，该第二分类信息能够更精确的表征各目标时刻属于不同动作类别的可能性。

例如，继续参见图4所示，计算机设备将第l个时序特征f^l、第一时间定位信息

以及目标特征f_frame∈T×2C输入时序动作检测模型的第二处理层，由计算机设备基于该第二处理层中的显著性优化单元来对时序特征和目标特征进行池化处理，以得到显著性特征

计算机设备基于第二回归器对该显著性特征中包括定位相关信息的

进行处理，确定各目标时刻对应的偏移量

(Refined Boundary，也可以称为精细边界)，其中

表示第一偏移量，

表示第二偏移量。计算机设备基于第二分类器对该显著性特征中包括分类相关信息的

进行处理，确定第二分类信息(Refined class)，

表示第l个时序特征中第j个目标时刻的第二分类信息。

306、计算机设备基于该各目标时刻对应的第一偏移量和第二偏移量，修正该各目标时刻对应的动作开始时刻和动作结束时刻，得到第二时间定位信息。

在本申请实施例中，计算机设备基于上述第一偏移量修正第一时间定位信息中各目标时刻对应的动作开始时刻，基于该第二偏移量修正第一时间定位信息中各目标时刻对应的动作结束时刻，得到第二时间定位信息。

例如，计算机设备基于上述信息确定的第二时间定位信息为：动作开始时刻

动作结束时刻

其中，

表示第l个时序特征中第j个目标时刻对应的动作开始时刻，

表示第l个时序特征中第j个目标时刻对应的动作结束时刻。

表示第一偏移量，

表示第二偏移量。

表示第l个时序特征f^l中第j个目标时刻对应的定位结果的时间长度。

在一种可选的实现方式中，计算机设备还能够基于第二处理层中的第二回归器获取每个目标时刻对应的动作开始时刻和动作结束时刻的质量。其中，该质量的物理含义为时序动作定位与实际标签定位的时间重合度tIoU(temporal IoU)，该质量值越高表示该定位与真实标签的重合度越高，因此该定位的质量也就越高。相应的，该质量也能够表示训练得到的时序动作检测模型的准确度，也即质量值越高，训练得到的时序动作检测模型输出的定位的质量也就有越高，从而时序动作检测模型的准确度也就越高。

例如，计算机设备输出的最终的分类结果为

其中，

表示第l个时序特征中第j个目标时刻的第一分类信息，

表示第l个时序特征中第j个目标时刻的第二分类信息，η_l，j表示第l个时序特征中第j个目标时刻的质量值。

需要说明的是，时序动作检测模型的训练步骤包括：计算机设备基于特征提取层，对连续的多个样本图像帧进行特征提取，得到不同长度的多个样本时序特征。然后，计算机设备基于特征提取层和多个样本时序特征中最长的时序特征，获取样本目标特征。然后，对于任一样本时序特征，计算机设备基于第一处理层和样本时序特征，获取第一样本时间定位信息和第一样本分类信息，该第一样本时间定位信息表征样本时序特征中各样本时刻对应的动作开始时刻和动作结束时刻，该第一样本分类信息表征样本时序特征中各样本时刻属于不同动作类别的可能性。然后，计算机设备基于第二处理层、样本时序特征、第一样本时间定位信息以及样本目标特征，对第一样本时间定位信息进行修正，得到第二样本时间定位信息。最后，计算机设备基于该第一样本时间定位信息、该第一样本分类信息、该第二样本时间定位信息以及该第二样本分类信息，训练该时序动作检测模型。

在一种可选的实现方式中，计算机设备基于该第一样本时间定位信息、该第一样本分类信息、该第二样本时间定位信息以及该第二样本分类信息，训练该时序动作检测模型的步骤包括：计算机设备基于第一样本时间定位信息，获取第一坐标回归损失值；计算机设备基于第一样本分类信息，获取第一分类损失值；计算机设备基于第二样本时间定位信息，获取第二坐标回归损失值；计算机设备基于第二样本分类信息，获取第二分类损失值；计算机设备基于第一坐标回归损失值、第一分类损失值、第二坐标回归损失值以及第二分类损失值，调整时序动作检测模型的参数。可选地，计算机设备还能够获取质量损失值，基于该质量损失值与上述损失值共同调整时序动作检测模型的参数。

例如，继续参见图4所示，第一坐标回归损失值表示为

第一分类损失值表示为

第二坐标回归损失值表示为

第二分类损失值表示为

质量损失值表示为l_q。

需要说明的是，由于池化处理中使用了max最大值处理来获取显著的边界特征，为了确保max处理获取的最大值为显著的边界特征，本申请实施例还进行了相关约束。相应的，计算机设备基于样本时序特征、第一样本时间定位信息以及样本目标特征，获取激活学习损失和约束学习损失，然后基于激活学习损失和约束学习损失，训练时序动作检测模型。

其中，激活学习损失能够显式的约束包含动作开始信息的特征，如f^s，和包含动作结束信息的特征，如f^e。计算机设备首先通过映射的方式将上述两个特征的值映射到0-1范围内：

其中，tanh( )表示激活函数，mean( )表示平均值函数，f^s表示包含动作开始信息的特征，f^e表示包含动作结束信息的特征，

表示f^s的映射，

表示f^e的映射。

。然后，对于

中的每个值

如果当前目标时刻位于动作的开始区域，则设置

的标签为1，否则为0；对于

中的每个值

如果当前目标时刻位于动作的结束区域，则设置

的标签为1，否则为0。给定1或0的标签后，计算机设备通过交叉熵损失来约束

和

其中，动作的开始区域是指计算机设备确定的动作开始时刻所属的区域，动作的结束区域是指计算机设备确定的动作结束时刻所属的区域。当然计算机设备还能够采用其他方式确定动作的开始区域和动作的结束区域，如确定最早的动作开始时刻和最晚的动作结束时刻，然后以这两个时刻的中间时刻为分界线，早于该中间时刻的区域为动作的开始区域，晚于该中间时刻的区域为动作的结束区域。

其中，约束学习损失能够隐式的约束包含动作开始信息的特征，如f^s，和包含动作结束信息的特征，如f^e。计算机设备首先通过上述1和0标签将样本视频中一个完整的动作A进行分割，分割为动作A1和动作A2，然后再从背景中找到一个背景片段Bg，然后按照A1、Bg、A2的顺序拼接为一个新的视频段，将该视频段送如时序动作检测模型中，得到A1、Bg、A2的动作开始特征与动作结束特征对：

由于A1和A2本身是连续的动作，因此计算机设备基于A1的动作结束特征应该与A2的动作开始特征接近为先验条件1，Bg的动作开始特征和动作结束特征与A1的动作结束特征尽可能不同，也即Bg与A1的特征距离要越远越好为先验条件2。计算机设备根据上述两个先验条件，基于tripletloss(一种损失函数)来进行约束：

其中

1和0表示通过激活学习损失给定的标签。

需要说明的是，为了进一步的证明本申请实施例提供的时序动作检测方法的效果，还提供了该时序动作检测方法与其他方法在THUMOS14与ActivityNet1.3这两个数据集上性能的比较。测评指标为mAP和IOU，测评结果参见表1所示。

表1

由表1可知，本申请提供的时序动作检测方法，在THUMOS14上的所有的mAP指标均好于其他算法，在ActivityNet1.3上，本申请提供的时序动作检测方法在IoU＝0.75以及平均上取得最好的性能。

另外，参见图6所示，图6是根据本申请实施例提供的一种可视化的效果图。图6所示，对于包含跳远这一动作的视频片段，正确的标注时刻为18.1秒和26.1秒。基于本申请提供的时序检测方法，计算机设备输出的第一定位信息为20.2秒和26.7秒，计算机设备输出的第二定位信息为18.1秒和26.2秒，由此可见计算机设备通过对第一定位信息进行修正，得到了较为准确的第二定位信息。而RC3D方法输出的定位信息为17.9秒和26.6秒，不如本申请提供的时序检测方法输出的结果准确。

另外，参见图7所示，图7是根据本申请实施例提供的一种特征可视化的效果图。如图7所示，对于包含扔铅球这一动作的视频片段，计算机设备在将特征在通道维度上平均后展示，在有边界约束学习BCL(Box Constraints Learning)时，模型学习出来的特征在动作开始区域和动作结束区域有较明显的峰值，能够较好的表示动作开始和动作结束的显著性。

图8是根据本申请实施例提供的一种时序动作检测装置的框图。该装置用于执行上述时序动作检测方法中的步骤，参见图8，装置包括：特征提取模块801、第一定位信息获取模块802以及第二定位信息获取模块803。

特征提取模块801，用于对连续的多个图像帧进行特征提取，得到不同长度的多个时序特征；

该特征提取模块801，还用于基于该多个时序特征中最长的时序特征，获取目标特征；

第一定位信息获取模块802，用于对于该多个时序特征中的任一时序特征，基于该时序特征，获取第一时间定位信息，该第一时间定位信息表征该时序特征中各目标时刻对应的动作开始时刻和动作结束时刻；

第二定位信息获取模块803，用于基于该时序特征、该第一时间定位信息以及该目标特征，对该第一时间定位信息进行修正，得到第二时间定位信息。

在一种可选的实现方式中，该特征提取模块801，用于对该连续的多个图像帧进行卷积处理，得到原始时序特征，该原始时序特征中包括属于时间维度的特征值；基于该原始时序特征，生成该不同长度的多个时序特征。

在一种可选的实现方式中，该特征提取模块801，用于从该时序特征中获取包含定位相关信息的第一特征；基于该第一特征，获取该各目标时刻对应的动作开始时刻和动作结束时刻。

在一种可选的实现方式中，该装置还包括：

第一分类信息获取模块，用于从该时序特征中获取包含分类相关信息的第二特征；基于该第二特征，获取该各目标时刻的第一分类信息，该第一分类信息表征该各目标时刻属于不同动作类别的可能性。

在一种可选的实现方式中，该特征提取模块801，用于从该多个时序特征中获取最长的时序特征；对该最长的时序特征进行上采样处理和卷积处理，得到该目标特征。

在一种可选的实现方式中，该第一定位信息获取模块802，包括：

显著性特征获取子模块，用于基于该第一时间定位信息，对该时序特征和该目标特征进行池化处理，得到显著性特征，该显著性特征表征该时序特征和该目标特征中该各目标时刻的动作开始时刻范围对应的最大特征值以及动作结束时刻范围对应的最大特征值；

偏移量获取子模块，用于基于该显著性特征，获取该各目标时刻对应的第一偏移量和第二偏移量，该第一偏移量表征该各目标时刻对应的动作开始时刻的偏移量，该第二偏移量表征该各目标时刻对应的动作结束时刻的偏移量；

定位信息修正子模块，用于基于该各目标时刻对应的第一偏移量和第二偏移量，修正该各目标时刻对应的动作开始时刻和动作结束时刻，得到该第二时间定位信息。

在一种可选的实现方式中，该显著性特征获取子模块，包括：

第一特征获取单元，用于从该时序特征中提取中心特征，该中心特征表征该时序特征中该各目标时刻对应的特征值；

第二特征获取单元，用于基于该第一时间定位信息，对该时序特征进行池化处理，获取第一边界特征，该第一边界特征表征该时序特征中该各目标时刻的动作开始时刻范围对应的最大特征值以及动作结束时刻范围对应的最大特征值；

第三特征获取单元，用于基于该第一时间定位信息，对该目标特征进行池化处理，获取第二边界特征，该第二边界特征表征该目标特征中该各目标时刻的动作开始时刻范围对应的最大特征值以及动作结束时刻范围对应的最大特征值；

第四特征获取单元，用于基于该中心特征、该第一边界特征以及该第二边界特征，获取该显著性特征。

在一种可选的实现方式中，该第一特征获取单元，用于对该时序特征中该各目标时刻分别进行特征提取，得到该中心特征。

在一种可选的实现方式中，该第二特征获取单元，包括：

第一特征处理子单元，用于对该时序特征进行卷积处理，得到第一输入特征；

第一确定子单元，用于基于该第一时间定位信息，确定该各目标时刻对应的第一动作开始范围和第一动作结束范围，该第一动作开始范围表征该各目标时刻对应的第一动作开始时刻所属的范围，该第一动作结束范围表征该各目标时刻对应的第一动作结束时刻所属的范围；

第一特征获取子单元，用于基于该第一动作开始范围和该第一动作结束范围对该第一输入特征进行池化处理，获取该第一边界特征。

在一种可选的实现方式中，该第一边界特征包括该各目标时刻的第一动作开始边界特征和第一动作结束边界特征；

该第一特征获取子单元，用于将该第一输入特征拆分为第三特征和第四特征，该第三特征包括动作开始信息，该第四特征包括动作结束信息；将该第三特征内，与该各目标时刻的第一动作开始范围对应的最大特征值，分别确定为该各目标时刻的第一动作开始边界特征；将该第四特征内，与该各目标时刻的第一动作结束范围对应的最大特征值，分别确定为该各目标时刻的第一动作结束边界特征。

在一种可选的实现方式中，该第二特征获取单元，包括：

第二特征处理子单元，用于对该目标特征进行卷积处理，得到第二输入特征；

第二确定子单元，用于基于该第一时间定位信息，确定该各目标时刻对应的第二动作开始范围和第二动作结束范围，该第二动作开始范围表征该各目标时刻对应的第二动作开始时刻所属的范围，该第二动作结束范围表征该各目标时刻对应的动作结束时刻所属的范围；

第二特征获取子单元，用于基于该第二动作开始范围和第二动作结束范围对该第二输入特征进行池化处理，获取该第二边界特征。

在一种可选的实现方式中，该第二边界特征包括该各目标时刻的第二动作开始边界特征和第二动作结束边界特征；

该第二特征获取子单元，用于将该第二输入特征拆分为第五特征和第六特征，该第五特征包括动作开始信息，该第六特征包括动作结束信息；将该第五特征内，与该各目标时刻的第二动作开始范围对应的最大特征值，分别确定为该各目标时刻的第二动作开始边界特征；将该第六特征内，与该各目标时刻的第二动作结束范围对应的最大特征值，分别确定为该各目标时刻的第二动作结束边界特征。

在一种可选的实现方式中，该装置还包括：

图像帧获取模块，用于从待处理视频中提取连续的多个图像帧；将该多个图像帧调整为目标尺寸，得到该目标尺寸的多个图像帧。

在一种可选的实现方式中，该时序动作检测装置基于时序动作检测模型实现，该时序动作检测模型包括特征提取层、第一处理层以及第二处理层；

该特征提取层用于对该连续的多个图像帧进行特征提取，得到该不同长度的多个时序特征；

该特征提取层还用于基于该多个时序特征中最长的时序特征，获取目标特征；

该第一处理层，用于对于该多个时序特征中的任一时序特征，对该时序特征进行处理，得到该第一时间定位信息；

该第二处理层，用于基于该时序特征、该第一时间定位信息以及该目标特征，对该第一时间定为信息进行修正，得到该第二时间定位信息。

在一种可选的实现方式中，该时序动作检测模型的训练步骤包括：

基于该特征提取层，对连续的多个样本图像帧进行特征提取，得到不同长度的多个样本时序特征；

基于该特征提取层和该多个样本时序特征中最长的时序特征，获取样本目标特征；

对于任一样本时序特征，基于该第一处理层和该样本时序特征，获取第一样本时间定位信息和第一样本分类信息，该第一样本时间定位信息表征该样本时序特征中各样本时刻对应的动作开始时刻和动作结束时刻，该第一样本分类信息表征该样本时序特征中各样本时刻属于不同动作类别的可能性；

基于该第二处理层、该样本时序特征、该第一样本时间定位信息以及样本目标特征，对该第一样本时间定位信息进行修正，得到第二样本时间定位信息；

基于该第一样本时间定位信息、该第一样本分类信息、该第二样本时间定位信息以及该第二样本分类信息，训练该时序动作检测模型。

在一种可选的实现方式中，该时序动作检测模型的训练步骤还包括：

基于该样本时序特征、该第一样本时间定位信息以及该样本目标特征，获取激活学习损失和约束学习损失，该激活学习损失和约束学习损失用于约束包含动作开始信息的特征和包含动作结束信息的特征；

基于该激活学习损失和该约束学习损失，训练该时序动作检测模型。

在一种可选的实现方式中，该基于该第一样本时间定位信息、该第一样本分类信息、该第二样本时间定位信息以及该第二样本分类信息，训练该时序动作检测模型，包括：

基于该第一样本时间定位信息，获取第一坐标回归损失值；

基于该第一样本分类信息，获取第一分类损失值；

基于该第二样本时间定位信息，获取第二坐标回归损失值；

基于该第二样本分类信息，获取第二分类损失值；

基于该第一坐标回归损失值、该第一分类损失值、该第二坐标回归损失值以及该第二分类损失值，调整该时序动作检测模型的参数。

需要说明的是：上述实施例提供的时序动作检测装置在进行时序动作检测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的时序动作检测装置与时序动作检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

在本申请实施例中，计算机设备为终端或者服务器，当计算机设备为终端时，由终端作为执行主体来实施本申请实施例提供的技术方案，当计算机设备为服务器时，由服务器作为执行主体来实施本申请实施例提供的技术方案，本申请实施例对此不作限定。

图9是根据本申请实施例提供的一种终端900的结构框图。该终端900可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving Picture Experts GroupAudio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture ExpertsGroup Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端900包括有：处理器901和存储器902。

处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个计算机程序，该至少一个计算机程序用于被处理器901所执行以实现本申请中方法实施例提供的时序动作检测方法。

在一些实施例中，终端900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、显示屏905、摄像头组件906、音频电路907、定位组件908和电源909中的至少一种。

外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置在终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在另一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。

定位组件908用于定位终端900的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。

加速度传感器911可以检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器912可以检测终端900的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对终端900的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器913可以设置在终端900的侧边框和/或显示屏905的下层。当压力传感器913设置在终端900的侧边框时，可以检测用户对终端900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在显示屏905的下层时，由处理器901根据用户对显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置在终端900的正面、背面或侧面。当终端900上设置有物理按键或厂商Logo时，指纹传感器914可以与物理按键或厂商Logo集成在一起。

光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制显示屏905的显示亮度。具体地，当环境光强度较高时，调高显示屏905的显示亮度；当环境光强度较低时，调低显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。

接近传感器916，也称距离传感器，通常设置在终端900的前面板。接近传感器916用于采集用户与终端900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与终端900的正面之间的距离逐渐变小时，由处理器901控制显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与终端900的正面之间的距离逐渐变大时，由处理器901控制显示屏905从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图9中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图10是根据本申请实施例提供的一种服务器的结构示意图，该服务器1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(CentralProcessing Units，CPU)1001和一个或一个以上的存储器1002，其中，该存储器1002中存储有至少一条计算机程序，该至少一条计算机程序由该处理器1001加载并执行以实现上述各个方法实施例提供的时序动作检测方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质应用于计算机设备，该计算机可读存储介质中存储有至少一段计算机程序，该至少一段计算机程序由处理器加载并执行以实现上述实施例的时序动作检测方法中计算机设备所执行的操作。

本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该计算机设备执行上述各实施例中提供的时序动作检测方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种时序动作检测方法，其特征在于，所述方法包括：

基于所述多个时序特征中最长的时序特征，获取目标特征；

2.根据权利要求1所述的方法，其特征在于，所述对连续的多个图像帧进行特征提取，得到不同长度的多个时序特征，包括：

对所述连续的多个图像帧进行卷积处理，得到原始时序特征，所述原始时序特征中包括属于时间维度的特征值；

基于所述原始时序特征，生成所述不同长度的多个时序特征。

3.根据权利要求1所述的方法，其特征在于，所述基于所述时序特征，获取第一时间定位信息，包括：

从所述时序特征中获取包含定位相关信息的第一特征；

基于所述第一特征，获取所述各目标时刻对应的动作开始时刻和动作结束时刻。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从所述时序特征中获取包含分类相关信息的第二特征；

基于所述第二特征，获取所述各目标时刻的第一分类信息，所述第一分类信息表征所述各目标时刻属于不同动作类别的可能性。

5.根据权利要求1所述的方法，其特征在于，所述基于所述多个时序特征中最长的时序特征，获取目标特征，包括：

从所述多个时序特征中获取最长的时序特征；

对所述最长的时序特征进行上采样处理和卷积处理，得到所述目标特征。

6.根据权利要求1所述的方法，其特征在于，所述基于所述时序特征、所述第一时间定位信息以及所述目标特征，对所述第一时间定位信息进行修正，得到第二时间定位信息，包括：

基于所述第一时间定位信息，对所述时序特征和所述目标特征进行池化处理，得到显著性特征，所述显著性特征表征所述时序特征和所述目标特征中所述各目标时刻的动作开始时刻范围对应的最大特征值以及动作结束时刻范围对应的最大特征值；

基于所述显著性特征，获取所述各目标时刻对应的第一偏移量和第二偏移量，所述第一偏移量表征所述各目标时刻对应的动作开始时刻的偏移量，所述第二偏移量表征所述各目标时刻对应的动作结束时刻的偏移量；

基于所述各目标时刻对应的第一偏移量和第二偏移量，修正所述各目标时刻对应的动作开始时刻和动作结束时刻，得到所述第二时间定位信息。

7.根据权利要求6所述的方法，其特征在于，所述基于所述第一时间定位信息，对所述时序特征和所述目标特征进行池化处理，得到显著性特征，包括：

从所述时序特征中提取中心特征，所述中心特征表征所述时序特征中所述各目标时刻对应的特征值；

基于所述第一时间定位信息，对所述时序特征进行池化处理，获取第一边界特征，所述第一边界特征表征所述时序特征中所述各目标时刻的动作开始时刻范围对应的最大特征值以及动作结束时刻范围对应的最大特征值；

基于所述第一时间定位信息，对所述目标特征进行池化处理，获取第二边界特征，所述第二边界特征表征所述目标特征中所述各目标时刻的动作开始时刻范围对应的最大特征值以及动作结束时刻范围对应的最大特征值；

基于所述中心特征、所述第一边界特征以及所述第二边界特征，获取所述显著性特征。

8.根据权利要求7所述的方法，其特征在于，所述从所述时序特征中提取中心特征，包括：

对所述时序特征中所述各目标时刻分别进行特征提取，得到所述中心特征。

9.根据权利要求7所述的方法，其特征在于，所述基于所述第一时间定位信息，对所述时序特征进行池化处理，获取第一边界特征，包括：

对所述时序特征进行卷积处理，得到第一输入特征；

基于所述第一时间定位信息，确定所述各目标时刻对应的第一动作开始范围和第一动作结束范围，所述第一动作开始范围表征所述各目标时刻对应的第一动作开始时刻所属的范围，所述第一动作结束范围表征所述各目标时刻对应的第一动作结束时刻所属的范围；

基于所述第一动作开始范围和所述第一动作结束范围对所述第一输入特征进行池化处理，获取所述第一边界特征。

10.根据权利要求9所述的方法，其特征在于，所述第一边界特征包括所述各目标时刻的第一动作开始边界特征和第一动作结束边界特征；

所述基于所述第一动作开始范围和所述第一动作结束范围对所述第一输入特征进行池化处理，获取所述第一边界特征，包括：

将所述第一输入特征拆分为第三特征和第四特征，所述第三特征包括动作开始信息，所述第四特征包括动作结束信息；

将所述第三特征内，与所述各目标时刻的第一动作开始范围对应的最大特征值，分别确定为所述各目标时刻的第一动作开始边界特征；

将所述第四特征内，与所述各目标时刻的第一动作结束范围对应的最大特征值，分别确定为所述各目标时刻的第一动作结束边界特征。

11.根据权利要求7所述的方法，其特征在于，所述基于所述第一时间定位信息，对所述目标特征进行池化处理，获取第二边界特征，包括：

对所述目标特征进行卷积处理，得到第二输入特征；

基于所述第一时间定位信息，确定所述各目标时刻对应的第二动作开始范围和第二动作结束范围，所述第二动作开始范围表征所述各目标时刻对应的第二动作开始时刻所属的范围，所述第二动作结束范围表征所述各目标时刻对应的动作结束时刻所属的范围；

基于所述第二动作开始范围和第二动作结束范围对所述第二输入特征进行池化处理，获取所述第二边界特征。

12.根据权利要求11所述的方法，其特征在于，所述第二边界特征包括所述各目标时刻的第二动作开始边界特征和第二动作结束边界特征；

所述基于所述第二动作开始范围和第二动作结束范围对所述第二输入特征进行池化处理，获取所述第二边界特征，包括：

将所述第二输入特征拆分为第五特征和第六特征，所述第五特征包括动作开始信息，所述第六特征包括动作结束信息；

将所述第五特征内，与所述各目标时刻的第二动作开始范围对应的最大特征值，分别确定为所述各目标时刻的第二动作开始边界特征；

将所述第六特征内，与所述各目标时刻的第二动作结束范围对应的最大特征值，分别确定为所述各目标时刻的第二动作结束边界特征。

13.一种时序动作检测装置，其特征在于，所述装置包括：

14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段计算机程序，所述至少一段计算机程序由所述处理器加载并执行权利要求1至12任一权利要求所述的时序动作检测方法。

15.一种存储介质，其特征在于，所述存储介质用于存储至少一段计算机程序，所述至少一段计算机程序用于执行权利要求1至12任一权利要求所述的时序动作检测方法。