CN109740530B - 视频段的提取方法、装置、设备及计算机可读存储介质 - Google Patents
视频段的提取方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109740530B CN109740530B CN201811653235.5A CN201811653235A CN109740530B CN 109740530 B CN109740530 B CN 109740530B CN 201811653235 A CN201811653235 A CN 201811653235A CN 109740530 B CN109740530 B CN 109740530B
- Authority
- CN
- China
- Prior art keywords
- target
- time point
- time
- video
- time points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000013145 classification model Methods 0.000 claims description 11
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种视频段的提取方法、装置、设备及计算机可读存储介质,通过获取目标物体的特征信息,根据所述特征信息在原始视频中进行所述目标物体查找,并依次获取所述原始视频中包含所述目标物体的目标时间点;计算两两相邻目标时间点之间的时间差,并根据所述两两相邻目标时间点之间的时间差,在所述目标时间点中确定目标起始时间点和目标结束时间点,由此在所述原始视频中提取出包含所述目标物体的目标视频段。根据目标物体在视频中出现的目标时间点以及时间点之间的时间差,确定目标起始时间点和目标结束时间点,并根据上述时间点提取目标视频段,实现视频的自动切割,提高了切割效率与精确度。
Description
技术领域
本发明涉及视频处理技术领域,尤其涉及一种视频段的提取方法、装置、设备及计算机可读存储介质。
背景技术
随着人工智能技术的发展,视频结构化的技术也日益成熟。视频结构化是一项对原始视频进行分析,提取关键信息,并进行文本的语义描述的应用技术。视频结构化的目的,是帮助用户在海量音视频内容里更快速准确地获取到最想要的音视频内容,例如对视频中特定的目标物体进行识别与定位。传统视频结构化需要人工切割出目标物体所在短视频,不仅耗时耗力,而且容易发生信息错漏,导致切割效率低下。因此,如何解决现有人工切割短视频造成的切割效率低下的问题,是目前亟需解决的问题。
发明内容
本发明的主要目的在于提供一种视频段的提取方法、电视机及可读存储介质,旨在解决现有人工切割短视频造成的切割效率低下的技术问题。
为实现上述目的,本发明提供一种视频段的提取方法,所述视频段的提取方法包括以下步骤:
获取目标物体的特征信息,根据所述特征信息在原始视频中进行所述目标物体查找,并依次获取所述原始视频中包含所述目标物体的目标时间点;
计算两两相邻目标时间点之间的时间差,并根据所述两两相邻目标时间点之间的时间差,在所述目标时间点中确定目标起始时间点和目标结束时间点;
根据所述目标起始时间点和目标结束时间点,在所述原始视频中提取出包含所述目标物体的目标视频段。
可选地,所述计算两两相邻目标时间点之间的时间差,并根据所述两两相邻目标时间点之间的时间差,在所述目标时间点中获取目标起始时间点和目标结束时间点的步骤包括:
计算两两相邻目标时间点之间的时间差,将所述两两相邻目标时间点之间的时间差确定为所述两两相邻目标时间点中后一个目标时间点的时间特征值,并将第一个目标时间点的时间特征值设置为预设值;
通过预设分类模型对各目标时间点的时间特征值进行分类,得到至少两个特征值簇,并基于预设断点特征规则在所述特征值簇中确定断点特征值簇;
将所述断点特征值簇中断点特征值对应的目标时间点确定为目标起始时间点,并将所述目标起始时间点相邻的前一个目标时间点和最后一个目标时间点确定为目标结束时间点。
可选地,所述根据所述目标起始时间点和目标结束时间点,在所述原始视频中提取出包含所述目标物体的目标视频段的步骤包括:
根据时间先后顺序将所述目标起始时间点和目标结束时间点依次排序,并将两两相邻的目标起始时间点和目标结束时间点确定为同一目标视频段的目标起始时间点和目标结束时间点;
根据各目标视频段对应的目标起始时间点和目标结束时间点,在所述原始视频中提取出各目标视频段。
可选地,所述根据时间先后顺序将所述目标起始时间点和目标结束时间点依次排序,并将两两相邻的目标起始时间点和目标结束时间点确定为同一目标视频段的目标起始时间点和目标结束时间点的步骤之后,还包括:
将各目标视频段的目标起始时间点和目标结束时间点添加对应的分段视频标识;
在播放所述原始视频时,根据所述分段视频标识显示所述目标物体对应的视频内容提醒信息,以便用户进行对应的选择观看。
可选地,所述通过预设分类模型对各目标时间点的时间特征值进行分类,得到至少两个特征值簇,并基于预设断点特征规则在所述特征值簇中确定断点特征值簇的步骤包括:
通过二类分类器对各目标时间点的时间特征值进行分类,得到两个特征值簇;
基于预设阈值,在所述两个特征值簇中确定所述断点特征值簇,其中,所述断点特征值簇中的时间特征值小于所述预设阈值。
可选地,所述通过预设分类模型对各目标时间点的时间特征值进行分类,得到至少两个特征值簇,并基于预设断点特征规则在所述特征值簇中确定断点特征值簇的步骤具体包括:
通过多类聚类算法对各目标时间点的时间特征值进行分类,得到多个特征值簇;
根据所述多个特征值簇的分割阈值,在所述多个特征值簇中确定所述断点特征值簇,其中,所述断点特征值簇小于所述分割阈值。
可选地,所述根据所述目标起始时间点和目标结束时间点,在所述原始视频中提取出包含所述目标物体的目标视频段的步骤之后,还包括:
将所述各目标视频段合成为所述目标物体对应的目标视频,以便连续性播放所述目标物体对应的视频。
此外,为实现上述目的,本发明还提供一种视频段的提取装置,所述视频段的提取装置包括:
时间点获取模块,用于获取目标物体的特征信息,根据所述特征信息在原始视频中进行所述目标物体查找,并依次获取所述原始视频中包含所述目标物体的目标时间点;
时间点确认模块,用于计算两两相邻目标时间点之间的时间差,并根据所述两两相邻目标时间点之间的时间差,在所述目标时间点中确定目标起始时间点和目标结束时间点;
视频段提取模块,用于根据所述目标起始时间点和目标结束时间点,在所述原始视频中提取出包含所述目标物体的目标视频段。
此外,为实现上述目的,本发明还提供一种视频段的提取设备,所述视频段的提取设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的视频段的提取程序,其中所述视频段的提取程序被所述处理器执行时,实现如上所述的视频段的提取方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有视频段的提取程序,其中视频段的提取程序被处理器执行时,实现如上述的视频段的提取方法的步骤。
本发明提供一种视频段的提取方法,通过获取目标物体的特征信息,根据所述特征信息在原始视频中进行所述目标物体查找,并依次获取所述原始视频中包含所述目标物体的目标时间点;计算两两相邻目标时间点之间的时间差,并根据所述两两相邻目标时间点之间的时间差,在所述目标时间点中确定目标起始时间点和目标结束时间点;根据所述目标起始时间点和目标结束时间点,在所述原始视频中提取出包含所述目标物体的目标视频段。通过上述方式,根据目标物体在视频中出现的目标时间点以及时间点之间的时间差,确定目标物体出现的各目标视频段对应的目标起始时间点以及目标结束时间点,由此可根据目标起始时间点和目标结束时间点提取目标视频段,实现视频的自动切割,提高了切割效率与精确度,解决了现有人工切割短视频造成的切割效率低下的技术问题。
附图说明
图1是本发明实施例方案涉及的电视机硬件结构示意图;
图2为本发明视频段的提取方法第一实施例的流程示意图;
图3为本发明视频段的提取方法第二实施例的流程示意图;
图4为本发明视频段的提取方法第三实施例的流程示意图。
图5为本发明视频段的提取装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例方案的主要思路是:通过获取目标物体的特征信息,根据所述特征信息在原始视频中进行所述目标物体查找,并依次获取所述原始视频中包含所述目标物体的目标时间点;计算两两相邻目标时间点之间的时间差,并根据所述两两相邻目标时间点之间的时间差,在所述目标时间点中确定目标起始时间点和目标结束时间点;根据所述目标起始时间点和目标结束时间点,在所述原始视频中提取出包含所述目标物体的目标视频段,解决了现有人工切割短视频造成的切割效率低下的技术问题。
本发明实施例涉及的视频段的提取方法主要应用于视频段的提取设备,该视频段的提取设备可以通过多种方式实现。例如,移动终端、电脑、平板电脑等。
后续描述中将以移动终端作为视频段的提取设备进行说明,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本发明的实施方式的构造也能够应用于其它类型的终端。
参照图1,图1为本发明实施例方案中涉及的视频段的提取设备硬件结构示意图。本发明实施例中,视频段的提取设备可以包括处理器1001(例如CPU),通信总线1002,用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信;用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard);网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口);存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器,存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的视频段的提取设备硬件结构并不构成对视频段的提取设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
继续参照图1,图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、网络通信模块、用户接口模板以及视频段的提取程序。
在图1中,网络通信模块主要用于连接服务器,与服务器进行数据通信;而处理器1001可以调用存储器1005中存储的视频段的提取程序,并执行以下操作:
获取目标物体的特征信息,根据所述特征信息在原始视频中进行所述目标物体查找,并依次获取所述原始视频中包含所述目标物体的目标时间点;
计算两两相邻目标时间点之间的时间差,并根据所述两两相邻目标时间点之间的时间差,在所述目标时间点中确定目标起始时间点和目标结束时间点;
根据所述目标起始时间点和目标结束时间点,在所述原始视频中提取出包含所述目标物体的目标视频段。
进一步的,处理器1001还可以调用存储器1005中存储的视频段的提取程序,并执行以下操作:
计算两两相邻目标时间点之间的时间差,将所述两两相邻目标时间点之间的时间差确定为所述两两相邻目标时间点中后一个目标时间点的时间特征值,并将第一个目标时间点的时间特征值设置为预设值;
通过预设分类模型对各目标时间点的时间特征值进行分类,得到至少两个特征值簇,并基于预设断点特征规则在所述特征值簇中确定断点特征值簇;
将所述断点特征值簇中断点特征值对应的目标时间点确定为目标起始时间点,并将所述目标起始时间点相邻的前一个目标时间点和最后一个目标时间点确定为目标结束时间点。
进一步的,处理器1001还可以调用存储器1005中存储的视频段的提取程序,并执行以下操作:
根据时间先后顺序将所述目标起始时间点和目标结束时间点依次排序,并将两两相邻的目标起始时间点和目标结束时间点确定为同一目标视频段的目标起始时间点和目标结束时间点;
根据各目标视频段对应的目标起始时间点和目标结束时间点,在所述原始视频中提取出各目标视频段。
进一步的,处理器1001还可以调用存储器1005中存储的视频段的提取程序,并执行以下操作:
将各目标视频段的目标起始时间点和目标结束时间点添加对应的分段视频标识;
在播放所述原始视频时,根据所述分段视频标识显示所述目标物体对应的视频内容提醒信息,以便用户进行对应的选择观看。
进一步的,处理器1001还可以调用存储器1005中存储的视频段的提取程序,并执行以下操作:
通过二类分类器对各目标时间点的时间特征值进行分类,得到两个特征值簇;
基于预设阈值,在所述两个特征值簇中确定所述断点特征值簇,其中,所述断点特征值簇中的时间特征值小于所述预设阈值。
进一步的,处理器1001还可以调用存储器1005中存储的视频段的提取程序,并执行以下操作:
通过多类聚类算法对各目标时间点的时间特征值进行分类,得到多个特征值簇;
根据所述多个特征值簇的分割阈值,在所述多个特征值簇中确定所述断点特征值簇,其中,所述断点特征值簇小于所述分割阈值。
进一步的,处理器1001还可以调用存储器1005中存储的视频段的提取程序,并执行以下操作:
将所述各目标视频段合成为所述目标物体对应的目标视频,以便连续性播放所述目标物体对应的视频。
基于上述视频段的提取设备硬件结构,提出本发明视频段的提取方法各个实施例。
本发明提供一种视频段的提取方法。
参照图2,图2为本发明视频段的提取方法第一实施例的流程示意图。
本实施例中,所述视频段的提取方法包括以下步骤:
步骤S10,获取目标物体的特征信息,根据所述特征信息在原始视频中进行所述目标物体查找,并依次获取所述原始视频中包含所述目标物体的目标时间点;
本实施例中,随着生活水平的提高,人们的时间逐渐碎片化,短视频逐渐成为了人们生活娱乐的重要方式。为了解决现有人工切割短视频造成的切割效率低下的技术问题,提供一种视频段的提取方法,实现视频段的自动提取。具体地,首先确定目标物体对应的特征信息,其中,所述目标物体可以是特定的人物或者特定的物体,如特定人物角色或特定品牌车辆等,特征信息包括物体图像或者声音等可识别信息。基于所述特征信息并通过识别技术,在原始视频中定位包括所述目标物体的视频帧,并获取上述视频帧对应的时间点,即为目标时间点。其中,可以采用间隔较短的一段时间进行一次目标物体检测,即在多个较密集的指定时间点使用识别类算法,得出在指定时间点是否存在所述目标物体。并输出存在所述目标物体的一系列时间点,即一组时间点列,即代表在原始视频的上述时间点出现了所述目标物体。并将所述目标时间点按照先后顺序依次排序。具体实施例中,若所述目标物体为多个物体,则可以得到多组时间点列。
步骤S20,计算两两相邻目标时间点之间的时间差,并根据所述两两相邻目标时间点之间的时间差,在所述目标时间点中确定目标起始时间点和目标结束时间点;
本实施例中,所述目标物体在原始视频中出现的时间点是连续的,即为视频段,但是上述目标时间点为离散型时间点,需要根据视频结构化输出的离散型时间点得到连续性的时间段。具体地,在依次排序的各个目标时间点,依次获取两个相邻的两个目标时间点,作为一组目标时间点。并将一组目标时间点中的后一个目标时间点减去前一个目标时间点,得到该组目标时间点的时间差。值的说明的是,本实施例中使用的时间差是指时间点之间的距离,不仅特指两个时间值的减法值,距离是一个统称说法,差值只是距离的一种特殊情况(欧式距离)。本实施例中,为了便于说明采用了时间差来进行描述,具体实施例中还可以采用其他可以方式来表示时间点之间的距离。依次类推,得到各个两两相邻目标时间点之间的时间差。判断各个时间差是否满足视频段分段条件,并在某个时间差满足视频段分段条件时,将该视频差对应的一组目标时间点确定为目标视频段的目标起始时间点和目标结束时间点,其中,所述目标起始时间点小于所述目标结束时间点。如判断各个时间差是否大于预设阈值,并将大于预设阈值的时间差对应的一组目标时间点的前一个目标时间点确定为一个目标视频段的目标结束时间点,并将该组的后一个目标时间点确定为下一个目标视频段的目标起始时间点。依此类推从而确定所述目标物体出现的各组目标视频段的目标起始时间点和目标结束时间点。值得说明的是,第一个目标时间点为目标物体在原始视频中第一次出现的时间点,因此第一个目标时间点一定为第一个目标视频段的目标起始时间点。类似的,最后一个目标时间点为目标物体在原始视频中最后一次出现的时间点,因此最后一个目标时间点一定为最后一个目标视频段的目标结束时间点。
步骤S30,根据所述目标起始时间点和目标结束时间点,在所述原始视频中提取出包含所述目标物体的目标视频段。
本实施例中,根据各组目标起始时间点和目标结束时间点,在所述原始视频中确定所述目标物体出现的各个目标视频段。截取所述目标视频中包含各组目标起始时间点和目标结束时间点的各段目标视频段。具体实施例中,还可以将各段目标视频段添加对应的视频段标识,并进行对应命名存储。
进一步地,所述步骤S30之后,还包括:
将所述各目标视频段合成为所述目标物体对应的目标视频,以便连续性播放所述目标物体对应的视频。
本实施例,为了便于用户观看,可将各段目标视频段合成一整个目标视频,通过所述目标视频连续性播放所述目标物体在所述原始视频中出现的所述视频段,用户可在该整个目标视频中连续性观看所述目标物体。
本实施例提供一种视频段的提取方法、装置、设备及计算机可读存储介质,通过获取目标物体的特征信息,根据所述特征信息在原始视频中进行所述目标物体查找,并依次获取所述原始视频中包含所述目标物体的目标时间点;计算两两相邻目标时间点之间的时间差,并根据所述两两相邻目标时间点之间的时间差,在所述目标时间点中确定目标起始时间点和目标结束时间点;根据所述目标起始时间点和目标结束时间点,在所述原始视频中提取出包含所述目标物体的目标视频段。通过上述方式,根据目标物体在视频中出现的目标时间点以及时间点之间的时间差,确定目标物体出现的各目标视频段对应的目标起始时间点以及目标结束时间点,由此可根据目标起始时间点和目标结束时间点提取目标视频段,实现视频的自动切割,提高了切割效率与精确度,解决了现有人工切割短视频造成的切割效率低下的技术问题。
参照图3,图3为本发明视频段的提取方法第二实施例的流程示意图。
基于上述图2所示实施例,步骤S20具体包括:
步骤S21,计算两两相邻目标时间点之间的时间差,将所述两两相邻目标时间点之间的时间差确定为所述两两相邻目标时间点中后一个目标时间点的时间特征值,并将第一个目标时间点的时间特征值设置为预设值;
本实施例中,针对所述原始视频,以所述目标物体为目标进行视频结构化分析,得到了目标物体在原始视频中出现的n个顺序目标时间点,并将各个目标时间点记为向量数组X,即x1,x2,x3,...,xn-1,xn。将n个目标时间点连成m个连贯的目标视频段,其中m是未知的。也即从n个目标时间点中确定m个目标视频段的目标起始时间点和m个视频段的目标结束时间点,且他们两两成对。其中,由于本方案是基于视频结构化输出的结果实施的,因此,需要对视频结构化的结果情况进行一些的假设。首先,因为视频结构化过程本身基于的是判别类算法,会有一定的错误率,因此假设得到的输出结果是完全准确的,即视频结构化给出的目标物体出现的目标时间点均为真实的,且不存在检测目标时间点上有目标物体出现但没有检测到的目标时间点。同时假设视频结构化设定的目标时间点足够密集地覆盖了原始视频。
由于将目标时间点依次排序,因此,第一目标时间点一定为目标起始时间点,且最后一个目标时间点一定为目标起始结束点。即设定n个目标时间点中的目标起始时间点x1为第一个目标视频段的目标起始时间点,终止点xn为第m个目标视频段的目标结束时间点。除此之外,在n个顺序目标时间点中,第t个目标视频段的目标起始时间点的上一个目标时间点是第t-1个目标视频段的目标结束时间点。因此,只需确定包含目标起始时间点x1的m个目标视频段目标起始时间点即可确定全部m个目标视频段。即在n个时间点中找出m个目标视频段目标起始时间点(称为断点)。即判断各个目标时间点是否为断点,依次类推,即对n目标时间点进行n次判断过程。综上所述,上述断点的判断过程可转换为一个分类问题,解决分类问题也即搭建一个合适的分类器。其中,搭建分类器的具体步骤如下:
首先要确定输入与输出的对象,输出对象是输入时间点是否为断点的结果,输入对象是待分类的目标时间点的特征信息。具体地,计算n个点与其相邻点两两之间的距离,顺序记n-1个特征值,记为向量λ,作为时间特征值。因为,第一个目标时间点一定是目标起始时间点,所以增加一个0值或者其他参数值在n-1个特征值队列的首位,即得到了n个特征值队列。其中,λi为目标时间点xi的特征,并将上述时间特征值输入分类器。
步骤S22,通过预设分类模型对各目标时间点的时间特征值进行分类,得到至少两个特征值簇,并基于预设断点特征规则在所述特征值簇中确定断点特征值簇;
其中,可以包括:
通过二类分类器对各目标时间点的时间特征值进行分类,得到两个特征值簇;
基于预设阈值,在所述两个特征值簇中确定所述断点特征值簇,其中,所述断点特征值簇中的时间特征值小于所述预设阈值。
本实施例中,确定输入输出对象后,需要进一步确定具体的分类模型。但是上述时间点数据并没有包含一个时间点是否是断点的信息,即使用的时间点数据不含有分类类别的标签。因此,需要使用一个非监督的分类器模型,如:K-means模型。具体实施例中,也可以根据具体情况选择其它非监督的分类器。由于,上述时间特征值数据是一维的,分类器的作用其实是确定分割阈值。假设检测视频结构化设定的检测目标时间点足够密集,所以非断点数据对应的λi值都应该较小。反之,断点数据对应的λi值应该较大,但同时可能有中等或是很大的情况。因此,分类器可以为二类分类器,还可以是多类分类器。实际应使用的类别个数可根据实际情况具体设定,多类别对应非断点的类和是断点的其它多类。更多实施例中,实际使用的分类类别个数往往难以决定,可以进一步采用自适应的方式借助参考指标选定,如:ELBOW方法。通过分类器将符合条件的时间特征值输入值断点特征值队列中,即断点特征簇。
步骤S23,将所述断点特征值簇中断点特征值对应的目标时间点确定为目标起始时间点,并将所述目标起始时间点相邻的前一个目标时间点和最后一个目标时间点确定为目标结束时间点。
本实施例中,获取所述断点特征簇中的各个断点特征值,并获取各个断点特征值对应的目标时间点,即该断点特征值对应的目标时间点即为的前后目标视频点为两个目标视频段的分割点,该断点特征值对应的目标时间点即为一个目标视频段的目标起始时间点,该断点特征值对应的目标时间点对应的前一个目标时间点即为上一个目标视频段的目标结束时间点。
进一步地,基于上述实施例,所述步骤S30具体包括:
根据时间先后顺序将所述目标起始时间点和目标结束时间点依次排序,并将两两相邻的目标起始时间点和目标结束时间点确定为同一目标视频段的目标起始时间点和目标结束时间点;
根据各目标视频段对应的目标起始时间点和目标结束时间点,在所述原始视频中提取出各目标视频段。
本实施例中,根据各组目标起始时间点和目标结束时间点,在所述原始视频中确定所述目标物体出现的各个目标视频段。截取所述目标视频中包含各组目标起始时间点和目标结束时间点的各段目标视频段。
进一步地,所述根据时间先后顺序将所述目标起始时间点和目标结束时间点依次排序,并将两两相邻的目标起始时间点和目标结束时间点确定为同一目标视频段的目标起始时间点和目标结束时间点的步骤之后,还包括:
将各目标视频段的目标起始时间点和目标结束时间点添加对应的分段视频标识;
在播放所述原始视频时,根据所述分段视频标识显示所述目标物体对应的视频内容提醒信息,以便用户进行对应的选择观看。
本实施例中,在原始视频中,将各组目标视频段进行对应的内容标记,以便用户进行对应的快捷播放。
参照图4,图4为本发明视频段的提取方法第三实施例的流程示意图。
基于上述图2所示实施例,步骤S22具体包括:
步骤S221,通过多类聚类算法对各目标时间点的时间特征值进行分类,得到多个特征值簇;
本实施例中,分类器可以为二类分类器,还可以是多类分类器。实际应使用的类别个数可根据实际情况具体设定,多类别对应非断点的类和是断点的其它多类。更多实施例中,实际使用的分类类别个数往往难以决定,可以进一步采用自适应的方式借助参考指标选定,如:多类聚类算法ELBOW方法。将各目标时间点的时间特征值分类为多个特征值簇,即按照更精细的时间差进行特征值簇的类别划分。
步骤S222,根据所述多个特征值簇的分割阈值,在所述多个特征值簇中确定所述断点特征值簇,其中,所述断点特征值簇小于所述分割阈值。
本实施例中,假设检测视频结构化设定的检测目标时间点足够密集,所以非断点数据对应的λi值都应该较小。反之,断点数据对应的λi值应该较大,但同时可能有中等或是很大的情况。实际使用的分类类别个数往往难以决定,可以进一步采用自适应的方式借助参考指标选定。通过E LBOW方法实现根据具体的时间差分割阈值,在所述多个特征值簇中将断点特征值簇小于所述分割阈值的特征值簇确定所述断点特征值簇。
参照图5,图5为本发明视频段的提取装置第一实施例的功能模块示意图。
本发明实施例还提出一种视频段的提取装置,所述视频段的提取装置包括:
时间点获取模块10,用于获取目标物体的特征信息,根据所述特征信息在原始视频中进行所述目标物体查找,并依次获取所述原始视频中包含所述目标物体的目标时间点;
时间点确认模块20,用于计算两两相邻目标时间点之间的时间差,并根据所述两两相邻目标时间点之间的时间差,在所述目标时间点中确定目标起始时间点和目标结束时间点;
视频段提取模块30,用于根据所述目标起始时间点和目标结束时间点,在所述原始视频中提取出包含所述目标物体的目标视频段。
进一步地,所述视频段的提取装置还包括;
视频段合成模块,用于将所述各目标视频段合成为所述目标物体对应的目标视频,以便连续性播放所述目标物体对应的视频。
进一步地,所述时间点确认模块20具体包括:
特征值计算单元,用于计算两两相邻目标时间点之间的时间差,将所述两两相邻目标时间点之间的时间差确定为所述两两相邻目标时间点中后一个目标时间点的时间特征值,并将第一个目标时间点的时间特征值设置为预设值;
特征值判断单元,用于通过预设分类模型对各目标时间点的时间特征值进行分类,得到至少两个特征值簇,并基于预设断点特征规则在所述特征值簇中确定断点特征值簇;
时间点确认单元,用于将所述断点特征值簇中断点特征值对应的目标时间点确定为目标起始时间点,并将所述目标起始时间点相邻的前一个目标时间点和最后一个目标时间点确定为目标结束时间点。
进一步地,所述视频段提取模块30还用于:
根据时间先后顺序将所述目标起始时间点和目标结束时间点依次排序,并将两两相邻的目标起始时间点和目标结束时间点确定为同一目标视频段的目标起始时间点和目标结束时间点;
根据各目标视频段对应的目标起始时间点和目标结束时间点,在所述原始视频中提取出各目标视频段。
将各目标视频段的目标起始时间点和目标结束时间点添加对应的分段视频标识;
在播放所述原始视频时,根据所述分段视频标识显示所述目标物体对应的视频内容提醒信息,以便用户进行对应的选择观看。
进一步地,所述特征值判断单元具体包括:
多类判断子单元,用于通过多类聚类算法对各目标时间点的时间特征值进行分类,得到多个特征值簇;
多类分割子单元,用于根据所述多个特征值簇的分割阈值,在所述多个特征值簇中确定所述断点特征值簇,其中,所述断点特征值簇小于所述分割阈值。
进一步的,本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有视频段的提取程序,其中所述视频段的提取程序被处理器执行时,实现如上述的视频段的提取方法的步骤。
其中,视频段的提取程序被执行时所实现的方法可参照本发明视频段的提取方法的各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种视频段的提取方法,其特征在于,所述视频段的提取方法包括以下步骤:
获取目标物体的特征信息,根据所述特征信息在原始视频中进行所述目标物体查找,并依次获取所述原始视频中包含所述目标物体的目标时间点;
计算两两相邻目标时间点之间的时间差,并根据所述两两相邻目标时间点之间的时间差,在所述目标时间点中确定目标起始时间点和目标结束时间点;
根据所述目标起始时间点和目标结束时间点,在所述原始视频中提取出包含所述目标物体的目标视频段;
其中,所述计算两两相邻目标时间点之间的时间差,并根据所述两两相邻目标时间点之间的时间差,在所述目标时间点中获取目标起始时间点和目标结束时间点的步骤包括:
计算两两相邻目标时间点之间的时间差,将所述两两相邻目标时间点之间的时间差确定为所述两两相邻目标时间点中后一个目标时间点的时间特征值,并将第一个目标时间点的时间特征值设置为预设值;
通过预设分类模型对各目标时间点的时间特征值进行分类,得到至少两个特征值簇,并基于预设断点特征规则在所述特征值簇中确定断点特征值簇;
将所述断点特征值簇中断点特征值对应的目标时间点确定为目标起始时间点,并将所述目标起始时间点相邻的前一个目标时间点和最后一个目标时间点确定为目标结束时间点。
2.如权利要求1所述的视频段的提取方法,其特征在于,所述根据所述目标起始时间点和目标结束时间点,在所述原始视频中提取出包含所述目标物体的目标视频段的步骤包括:
根据时间先后顺序将所述目标起始时间点和目标结束时间点依次排序,并将两两相邻的目标起始时间点和目标结束时间点确定为同一目标视频段的目标起始时间点和目标结束时间点;
根据各目标视频段对应的目标起始时间点和目标结束时间点,在所述原始视频中提取出各目标视频段。
3.如权利要求2所述的视频段的提取方法,其特征在于,所述根据时间先后顺序将所述目标起始时间点和目标结束时间点依次排序,并将两两相邻的目标起始时间点和目标结束时间点确定为同一目标视频段的目标起始时间点和目标结束时间点的步骤之后,还包括:
将各目标视频段的目标起始时间点和目标结束时间点添加对应的分段视频标识;
在播放所述原始视频时,根据所述分段视频标识显示所述目标物体对应的视频内容提醒信息,以便用户进行对应的选择观看。
4.如权利要求1所述的视频段的提取方法,其特征在于,所述通过预设分类模型对各目标时间点的时间特征值进行分类,得到至少两个特征值簇,并基于预设断点特征规则在所述特征值簇中确定断点特征值簇的步骤包括:
通过二类分类器对各目标时间点的时间特征值进行分类,得到两个特征值簇;
基于预设阈值,在所述两个特征值簇中确定所述断点特征值簇,其中,所述断点特征值簇中的时间特征值小于所述预设阈值。
5.如权利要求1所述的视频段的提取方法,其特征在于,所述通过预设分类模型对各目标时间点的时间特征值进行分类,得到至少两个特征值簇,并基于预设断点特征规则在所述特征值簇中确定断点特征值簇的步骤具体包括:
通过多类聚类算法对各目标时间点的时间特征值进行分类,得到多个特征值簇;
根据所述多个特征值簇的分割阈值,在所述多个特征值簇中确定所述断点特征值簇,其中,所述断点特征值簇小于所述分割阈值。
6.如权利要求1-5中任意一项所述的视频段的提取方法,其特征在于,所述根据所述目标起始时间点和目标结束时间点,在所述原始视频中提取出包含所述目标物体的目标视频段的步骤之后,还包括:
将所述各目标视频段合成为所述目标物体对应的目标视频,以便连续性播放所述目标物体对应的视频。
7.一种视频段的提取装置,其特征在于,所述视频段的提取装置包括:
时间点获取模块,用于获取目标物体的特征信息,根据所述特征信息在原始视频中进行所述目标物体查找,并依次获取所述原始视频中包含所述目标物体的目标时间点;
时间点确认模块,用于计算两两相邻目标时间点之间的时间差,并根据所述两两相邻目标时间点之间的时间差,在所述目标时间点中确定目标起始时间点和目标结束时间点;
视频段提取模块,用于根据所述目标起始时间点和目标结束时间点,在所述原始视频中提取出包含所述目标物体的目标视频段;
其中,所述时间点确认模块还用于:
计算两两相邻目标时间点之间的时间差,将所述两两相邻目标时间点之间的时间差确定为所述两两相邻目标时间点中后一个目标时间点的时间特征值,并将第一个目标时间点的时间特征值设置为预设值;
通过预设分类模型对各目标时间点的时间特征值进行分类,得到至少两个特征值簇,并基于预设断点特征规则在所述特征值簇中确定断点特征值簇;
将所述断点特征值簇中断点特征值对应的目标时间点确定为目标起始时间点,并将所述目标起始时间点相邻的前一个目标时间点和最后一个目标时间点确定为目标结束时间点。
8.一种视频段的提取设备,其特征在于,所述视频段的提取设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的视频段的提取程序,其中所述视频段的提取程序被所述处理器执行时,实现如权利要求1至6中任一项所述的视频段的提取方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有视频段的提取程序,其中所述视频段的提取程序被处理器执行时,实现如权利要求1至6中任一项所述的视频段的提取方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811653235.5A CN109740530B (zh) | 2018-12-29 | 2018-12-29 | 视频段的提取方法、装置、设备及计算机可读存储介质 |
PCT/CN2019/129318 WO2020135756A1 (zh) | 2018-12-29 | 2019-12-27 | 视频段的提取方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811653235.5A CN109740530B (zh) | 2018-12-29 | 2018-12-29 | 视频段的提取方法、装置、设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109740530A CN109740530A (zh) | 2019-05-10 |
CN109740530B true CN109740530B (zh) | 2022-05-03 |
Family
ID=66363014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811653235.5A Active CN109740530B (zh) | 2018-12-29 | 2018-12-29 | 视频段的提取方法、装置、设备及计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109740530B (zh) |
WO (1) | WO2020135756A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109740530B (zh) * | 2018-12-29 | 2022-05-03 | 深圳Tcl新技术有限公司 | 视频段的提取方法、装置、设备及计算机可读存储介质 |
CN110990387B (zh) * | 2019-11-29 | 2024-02-27 | 广东电网有限责任公司 | 一种电能计量设备停电记录错误处理方法及装置 |
CN111314665A (zh) * | 2020-03-07 | 2020-06-19 | 上海中科教育装备集团有限公司 | 一种视频事后评分的关键视频段提取系统及方法 |
CN113810751B (zh) * | 2020-06-12 | 2022-10-28 | 阿里巴巴集团控股有限公司 | 视频处理方法及设备、电子设备及服务器 |
CN117411987B (zh) * | 2023-12-13 | 2024-05-28 | 深圳万物安全科技有限公司 | 监控视频的漏录时间检测方法、设备及存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103455625B (zh) * | 2013-09-18 | 2016-07-06 | 武汉烽火众智数字技术有限责任公司 | 一种用于视频摘要的目标快速重排列方法 |
CN104731944A (zh) * | 2015-03-31 | 2015-06-24 | 努比亚技术有限公司 | 视频搜索方法及装置 |
CN106412690B (zh) * | 2015-07-23 | 2020-01-10 | 无锡天脉聚源传媒科技有限公司 | 一种视频播放的确定方法及装置 |
CN106021496A (zh) * | 2016-05-19 | 2016-10-12 | 海信集团有限公司 | 视频搜索方法及视频搜索装置 |
CN107609149B (zh) * | 2017-09-21 | 2020-06-19 | 北京奇艺世纪科技有限公司 | 一种视频定位方法和装置 |
CN107888988A (zh) * | 2017-11-17 | 2018-04-06 | 广东小天才科技有限公司 | 一种视频剪辑方法及电子设备 |
CN108009516A (zh) * | 2017-12-15 | 2018-05-08 | 暴风集团股份有限公司 | 视频匹配方法、装置及终端 |
CN108307230B (zh) * | 2018-02-07 | 2021-01-22 | 北京奇艺世纪科技有限公司 | 一种视频精彩片段的提取方法及装置 |
CN109740530B (zh) * | 2018-12-29 | 2022-05-03 | 深圳Tcl新技术有限公司 | 视频段的提取方法、装置、设备及计算机可读存储介质 |
-
2018
- 2018-12-29 CN CN201811653235.5A patent/CN109740530B/zh active Active
-
2019
- 2019-12-27 WO PCT/CN2019/129318 patent/WO2020135756A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2020135756A1 (zh) | 2020-07-02 |
CN109740530A (zh) | 2019-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109740530B (zh) | 视频段的提取方法、装置、设备及计算机可读存储介质 | |
CN110046586B (zh) | 一种数据处理方法、设备及存储介质 | |
CN109284729B (zh) | 基于视频获取人脸识别模型训练数据的方法、装置和介质 | |
JP5358083B2 (ja) | 人物画像検索装置及び画像検索装置 | |
CN110119673B (zh) | 无感人脸考勤方法、装置、设备及存储介质 | |
CN109800744A (zh) | 图像聚类方法及装置、电子设备和存储介质 | |
CN110889379B (zh) | 表情包生成方法、装置及终端设备 | |
CN110602527A (zh) | 视频处理方法、装置及存储介质 | |
CN107871001B (zh) | 音频播放方法、装置、存储介质及电子设备 | |
US9549162B2 (en) | Image processing apparatus, image processing method, and program | |
JP6334767B1 (ja) | 情報処理装置、プログラム、及び情報処理方法 | |
CN111368786A (zh) | 动作区域提取方法、装置、设备及计算机可读存储介质 | |
US9489594B2 (en) | Image processing device, image processing method and program | |
CN110930984A (zh) | 一种语音处理方法、装置和电子设备 | |
CN111401238A (zh) | 一种视频中人物特写片段的检测方法及装置 | |
US9699501B2 (en) | Information processing device and method, and program | |
CN115379290A (zh) | 视频处理方法、装置、设备及存储介质 | |
CN110019907A (zh) | 一种图像检索方法及装置 | |
CN111539390A (zh) | 一种基于Yolov3的小目标图像识别方法、设备和系统 | |
CN112101197A (zh) | 一种面部信息的获取方法和装置 | |
CN113194333B (zh) | 视频剪辑方法、装置、设备及计算机可读存储介质 | |
JP3916813B2 (ja) | データ系列検索装置および方法 | |
CN112214639B (zh) | 视频筛选方法、视频筛选装置及终端设备 | |
CN116095363A (zh) | 基于关键行为识别的移动端短视频高光时刻剪辑方法 | |
CN115393755A (zh) | 视觉目标跟踪方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |