Nothing Special   »   [go: up one dir, main page]

CN112040313B - 一种视频内容结构化方法、装置、终端设备及介质 - Google Patents

一种视频内容结构化方法、装置、终端设备及介质 Download PDF

Info

Publication number
CN112040313B
CN112040313B CN202011217518.2A CN202011217518A CN112040313B CN 112040313 B CN112040313 B CN 112040313B CN 202011217518 A CN202011217518 A CN 202011217518A CN 112040313 B CN112040313 B CN 112040313B
Authority
CN
China
Prior art keywords
video
boundary
voice
scene
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011217518.2A
Other languages
English (en)
Other versions
CN112040313A (zh
Inventor
周凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute of Sun Yat Sen University
Original Assignee
Shenzhen Research Institute of Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute of Sun Yat Sen University filed Critical Shenzhen Research Institute of Sun Yat Sen University
Priority to CN202011217518.2A priority Critical patent/CN112040313B/zh
Publication of CN112040313A publication Critical patent/CN112040313A/zh
Application granted granted Critical
Publication of CN112040313B publication Critical patent/CN112040313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请适用于视频处理技术领域，提供了一种视频内容结构化方法、装置、终端设备及介质，所述方法包括：获取目标视频的视觉通道信息，基于所述视觉通道信息将所述目标视频划分为多个场景单元，所述多个场景单元包括多个场景边界；将所述目标视频的语音转换为语音文本，并将所述语音文本分割为多个文本块；基于所述多个文本块，将所述目标视频划分为多个语音单元，所述多个语音单元包括多个语音边界；根据所述多个场景边界和所述多个语音边界，确定所述目标视频的视频主题边界；根据所述视频主题边界，将所述目标视频划分为多个主题单元。通过上述方法，能够提高视频内容结构化的准确性。

Description

一种视频内容结构化方法、装置、终端设备及介质
技术领域
本申请属于视频处理技术领域，尤其涉及一种视频内容结构化方法、装置、终端设备及介质。
背景技术
视频内容结构化是指将视频文件层次化分解成多个语义子单元并建立子单元间关联关系的过程，其目标是将复杂抽象的视频数据转换成计算机容易处理的格式，从而便于进一步提取、分析视频内容。
传统的视频内容结构化方法，是从视频的视觉线索出发，将视频划分为各个场景。但是由于视频种类过于丰富，某些视频场景过于单一或者过于丰富，所以仅利用视觉线索将视频分为不同的场景单元，可能会造成很大误差。
发明内容
本申请实施例提供了一种视频内容结构化方法、装置、终端设备及介质，可以提高视频内容结构化的准确性。
第一方面，本申请实施例提供了一种视频内容结构化方法，包括：
获取目标视频的视觉通道信息，基于所述视觉通道信息将所述目标视频划分为多个场景单元，所述多个场景单元包括多个场景边界；
将所述目标视频的语音转换为语音文本，并将所述语音文本分割为多个文本块；
基于所述多个文本块，将所述目标视频划分为多个语音单元，所述多个语音单元包括多个语音边界；
根据所述多个场景边界和所述多个语音边界，确定所述目标视频的视频主题边界；
根据所述视频主题边界，将所述目标视频划分为多个主题单元。
第二方面，本申请实施例提供了一种视频内容结构化装置，包括：
场景边界划分模块，用于获取目标视频的视觉通道信息，基于所述视觉通道信息将所述目标视频划分为多个场景单元，所述多个场景单元包括多个场景边界；
文本块分割模块，用于将所述目标视频的语音转换为语音文本，并将所述语音文本分割为多个文本块；
语音单元分割模块，用于基于所述多个文本块，将所述目标视频划分为多个语音单元，所述多个语音单元包括多个语音边界；
视频主题边界确定模块，用于根据所述多个场景边界和所述多个语音边界，确定所述目标视频的视频主题边界；
主题单元划分模块，用于根据所述视频主题边界，将所述目标视频划分为多个主题单元。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的方法。
本申请实施例与现有技术相比存在的有益效果是：在本申请实施例中，对目标视频进行结构化时，获取目标视频的视觉通道信息，并基于视觉通道信息将目标视频划分为多个场景单元，每个场景单元包括对应的场景边界；然后将目标视频中的语音转换为语音文本，并将语音文本分割为多个文本块；再基于多个文本块，将目标视频划分为多个语音单元，每个语音单元包括对应的语音边界；根据各个场景边界和各个语音边界，确定目标视频的视频主题边界；再根据视频主题边界，将目标视频划分为多个主题单元。本申请实施例中是从目标视频的视觉通道和语音通道分别进行内容挖掘，然后融合目标视频的视觉内容和语音内容多线索信息，对目标视频进行主题边界检测，将目标视频分割成多个语义独立，内容连贯的主题单元，为目标视频内容建立结构化索引。通过上述方法，能够提高视频内容结构化的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请实施例一提供的一种视频内容结构化方法的流程示意图；
图2是本申请实施例一提供的一种视频视觉通道信息的示意图；
图3是本申请实施例一提供的一种划分场景单元的流程示意图；
图4是本申请实施例一提供的一种确定视频主题边界的示意图；
图5是本申请实施例一提供的另一种确定视频主题边界的示意图；
图6是本申请实施例二提供的一种视频内容结构化方法的流程示意图；
图7是本申请实施例二提供的测试实验结果图；
图8是本申请实施例三提供的一种视频内容结构化装置的结构示意图；
图9是本申请实施例四提供的一种终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其它一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其它方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其它方式另外特别强调。
图1是本申请实施例一提供一种视频内容结构化的流程示意图，如图1所示，所述方法包括：
S101，获取目标视频的视觉通道信息，基于所述视觉通道信息将所述目标视频划分为多个场景单元，所述多个场景单元包括多个场景边界；
上述目标视频是指需要进行视频内容结构化的视频。视频是一种由视觉通道和语音通道共同组成的综合媒体。视频视觉通道是由一系列连续变化的帧画面组成的，这些图像是视频视觉内容的直观呈现，这些视频帧视觉特征具有极大的重复性，时长为一秒的视频数据通常包含25到40帧画面，那么时长为一小时的视频数据包含超过7万张以上的帧画面，如果直接分析这些数量巨大，重复度极高的视频帧画面，不仅耗时，而且很难挖掘到有价值的信息。因此可以先对目标视频进行镜头分割。
镜头分割可以根据视频帧视觉内容的差异，将内容发生转变的帧画面划分为不同的镜头，相同镜头只保留一帧作为代表帧，过滤掉绝大多数冗余的视频帧。本实施例中，采用颜色直方图特征衡量视频帧的视觉特征相似性。接着计算相邻两帧颜色直方图特征的欧式距离，若相邻两帧颜色直方图的距离大于平均距离的位置，则认为发生了镜头切换。最后将同一段关键帧序列中间的图像作为一个视频镜头。
图2是本申请实施例一提供一种视频视觉通道信息的示意图，如图2所示，视频最底层由一系列连续的视频帧组成，在一组连续的视频帧序列中，镜头是代表视频拍摄过程中某一个镜头下的图像，同一个镜头下的视频帧图像特征相似，内容变化小。场景由一组语义相关的镜头组成，多个场景就组成了整个视频。
在对镜头分割完成之后，可以根据各个镜头划分目标视频的场景单元。图3是本申请实施例一提供一种划分场景单元方法的流程示意图，如图3所示，可以提取视频帧序列的的视觉特征，视觉特征可以包括颜色特征和运动特征，基于视觉特征，对目标视频进行镜头分割，对分割后的镜头进行谱聚类；但是聚类结果并不能保证每个子类的视频帧在时间轴上是连续的。然而场景单元是一系列连续的视频帧，因此需要将不连续的镜头片段合并成最终的场景单元。对于谱聚类得到的类簇，可以将其拆分为多个连续的镜头片段{s1，s2，```，sn}，根据目标视频的时间轴计算两个镜头片段之间的距离，计算公式可以如下：
Figure 281301DEST_PATH_IMAGE001
其中,si表示某一连续的镜头片段，dc(si)表示si镜头片段在视频时间轴中的中心位置，sj表示另一连续的镜头片段，dc(sj)表示sj镜头片段在视频时间轴中的中心位置，dc(si,sj)表示si镜头片段和sj镜头片段之间的距离，e为指数函数，w为所有类簇间欧式距离的平均值。最后基于镜头片段时间距离，对各个镜头片段进行k-means聚类，聚类后各个类簇构成的视频镜头序列就是场景单元的划分结果。
S102，将所述目标视频的语音转换为语音文本，并将所述语音文本分割为多个文本块；
视频语音通道上包含大量的语音信息，语音信息直接反映视频语义。因此可以将视频中的语音转换为语音文本，具体地，可以采用自动语音识别(AutomaticSpeechRecognition，ASR)技术能将声音特征转化为计算机易于处理的语音文本。
再对语音文本进行分句，将每个句子作为一个文本块。之后可以基于文本块对语音进行处理。
S103，基于所述多个文本块，将所述目标视频划分为多个语音单元，所述多个语音单元包括多个语音边界；
具体地，可以分别计算每个文本块的上下文关联度；再根据每个文本块的上下文关联度，分别计算每个文本块的深度分数；根据每个文本块的深度分数，将目标视频划分为多个语音单元，语音单元的数量等于场景单元的数量的预设倍数。
具体地，上述上下文关联度用于表示当前文本块与相邻的前一文本块、后一文本块的语义相似度。具体可以采用余弦相似度度量，计算公式如下：
Figure 879772DEST_PATH_IMAGE002
其中，c表示所述每个文本块，p表示与所述每个文本块相邻的前一文本块，f表示与所述每个文本块相邻的后一文本块，wt,x表示x文本块的文本特征的第t维度的值，x=c、p或f，s(c)表示所述每个文本块的上下文关联度。
具体地，可以采用TopicTiling算法提取每个文本块的文本特征，提取出的文本特征为一个多维数据。
深度分数表示文本块与其上下文关联度分数的差值，反映了文本块两侧的语义变化的相对剧烈程度。深度分数较高的文本块在文本关联度度曲线中与其两侧文本块会形成“深谷”，深度分数越高，表示相对于上下文，当前文本块的语义紧密程度越低，这样的位置越有可能成为文本的语义边界。深度分数的计算公式可以如下：
Figure 599204DEST_PATH_IMAGE003
其中，c表示当前文本块，hl(c)表示从c文本块左边找到的第一个关联度分数最高的峰值，hr(c)表示从c文本块右边找到的第一个关联度分数最高的峰值。
语音单元的数量可以根据场景单元的数量来确定，例如，可以将语音单元的数量设置为场景单元个数的预设倍数。采用上述公式计算每个文本块的深度分数，然后将所有的深度分数从高到低排序，按照排序结果选取前b个文本块作为目标文本块；b为根据场景单元的数量确定的语音单元的数量。
采用目标文本块将目标视频划分为多个语音单元，其中目标文本块可以为语音单元的语音边界。
S104，根据所述多个场景边界和所述多个语音边界，确定所述目标视频的视频主题边界；
具体地，将多个语音边界和多个场景边界分别映射到目标视频的时间轴上；分别计算多个场景边界与每个语音边界之间的多个时间间隔；根据多个时间间隔，确定多个边界对，每个边界对包括一个语音边界和一个场景边界；根据多个边界对确定多个时间点，将多个时间点作为目标视频的多个视频主题边界。
具体地，可以先确定视频主题的个数。在检测视频主题边界位置之前，首要的工作是确定视频主题的个数。本实施例在确定视频主题个数考虑了三个方面：第一，视频场景的个数，通常来说，视频不同的故事单元倾向于分布在不同的场景里。第二，视频主题边界个数与视频时长有关，显然越长的视频能讲述越多的内容，其所包含的主题也就越多，一般来说，绝大多数视频一个主题单元的时长在3分钟到5分钟不等，取平均值4分钟，用视频时长除以每个故事单元的平均时长可以估算出视频的主题个数；第三，从统计学的角度出发，确定深度分数的阈值从而确定了视频的主题个数，这个方法考虑了不同视频的差异性。综合以上三个因素，视频主题个数的计算公式可以为：
Figure 952825DEST_PATH_IMAGE004
Figure 626383DEST_PATH_IMAGE005
其中，n为场景单元的个数，t为视频总时长，st为视频一个故事单元的平均时长240秒，α、β和θ分别为经验参数，本实施例中，它们的值分别为0.6，0.1，0.3，σ为文本块的深度分数的标准差，depthScore[i]表示第i个文本块的深度分数，count(depthScore[i])表示文本块的数量，TopicCount表示视频主题个数。
因此采用上述方法确定与视频主题个数相同数量的边界对，再在每个边界对中选取一个时间点作为视频主题边界对应的时间点，计算公式可以如下：
Figure 356442DEST_PATH_IMAGE006
其中，p k 表示视频主题边界对应的时间点，x i 表示第i个边界对中场景边界对应的时间点，y i 表示第i个边界对中语音边界对应的时间点，λ为权重值，它决定了p k 的位置与x i 更近还是离y i 更近，本实施例中认为视觉内容更加直观，因此设置为1/3，当然，若认为语音内容更加直观，则可以将λ的数值增大。图4是本申请实施例一提供一种确定视频主题边界的示意图。
当然还可能存在另一种状况，计算得到的视频主题的个数大于场景单元的个数，此时，边界对的数量小于视频主题个数，可以采用如图5所示的方式确定视频主题边界，图5是本申请实施例一提供另一种确定视频主题边界的示意图。依据边界对确定了视频主题边界后，在语音边界中根据深度分数从大到小的顺序，依次将语音边界作为视频主题边界，直到视频主题边界的数量满足计算得到的视频主题个数。
S105，根据所述视频主题边界，将所述目标视频划分为多个主题单元。
具体地，根据选择的视频主题边界，将目标视频分割成多个主题单元，以主题单元的方式组织视频内容，每个主题单元包含相应的图像内容和文本内容。
本实施例中，在确定视频主题边界过程中，融合了视频的视觉通道和语音通道的内容，视觉内容可以与语音内容相互补充，能够更准确地划分视频单元，视频内容结构化的准确性更高。
图6是本申请实施例二提供的一种视频内容结构化方法的流程示意图，如图6所示，所述方法包括：分别提取目标视频的视觉线索和语音线索，再将视觉线索和语音线索进行多线索融合，将目标视频划分为多个主题单元。
在提取目标视频的视觉线索时，可以以视频帧为处理对象，进行场景边界检测，将目标视频划分为多个场景单元。在进行场景边界检测时，可以提取视频帧的视觉特征，再基于视觉特征进行镜头分割，再对分割得到的各个镜头进行聚类，最终得到场景边界。
在提取目标视频的语音线索时，可以将语音信号作为处理对象，将语音识别为文本，再进行视频语料库主体模型训练，将文本划分为多个文本块，提取各个文本块的文本特征，并进行相似度度量，根据相似度度量的结果，将目标视频划分为多个语音单元。
为了证明本文视频结构化方法的有效性，本申请选取YouTube网站中50个视频作为实验数据集，视频时长在12分钟到55分钟之间。由于评价视频边界具有一定的主观性，本文选择的实验视频主要是一些新闻类，教育类视频，此类视频具有较为明显的视频边界，易于人工判断。首先，将数据集分为10组，每组5个视频。然后邀请了20个参与实验的同学，同样将实验者分为10组，每组两人，要求实验者认真观看视频，理解视频内容，然后标注出视频主题切换的时间节点，这些时间节点作为评价实验结果的参照。本文评价算法的有效性的方法将算法检测的主题边界结果与人工标注的主题边界结果作对比，如果两个边界的时间戳差值在5秒以内，就认为该边界准确有效。
本文采用信息检索领域常用的查准率(Precision)，查全率(Recall)，和F—measure三个常用的性能指标来评价算法的好坏。这三个指标的计算公式如下：
Figure 431845DEST_PATH_IMAGE007
Figure 956368DEST_PATH_IMAGE008
Figure 648380DEST_PATH_IMAGE009
其中，查准率反映了实验结果的准确性，查全率反映了实验结果的全面性，F—measure是查准率与查全率的调和平均值，综合反映了实验结果的好环。这些性能指标的数值在0到1之间，越大说明算法效果越好。
由于人工标注视频边界具有一定的主观性，本文要求每组两个实验者分别标注同一组视频，计算每组视频平均指标。
图7是本申请实施例二提供的测试实验结果图，参照图7，基于视觉场景的结构化实验的查准率、查全率和调和平均值分别为：0.72、0.53、0.59；基于语音文本的结构化实验的查准率、查全率和调和平均值分别为：0.70、0.53、0.60；基于本实施例中方法的查准率、查全率和调和平均值分别为：0.83、0.68、0.74。可见本实施例中方法的性能是较优的，基本能够准确有效地检测视频主题边界，划分视频主题单元。
图8是本申请实施例三提供的一种视频内容结构化装置的结构示意图，如图8所示，所述装置包括：
场景边界划分模块81，用于获取目标视频的视觉通道信息，基于所述视觉通道信息将所述目标视频划分为多个场景单元，所述多个场景单元包括多个场景边界；
文本块分割模块82，用于将所述目标视频的语音转换为语音文本，并将所述语音文本分割为多个文本块；
语音单元分割模块83，用于基于所述多个文本块，将所述目标视频划分为多个语音单元，所述多个语音单元包括多个语音边界；
视频主题边界确定模块84，用于根据所述多个场景边界和所述多个语音边界，确定所述目标视频的视频主题边界；
主题单元划分模块85，用于根据所述视频主题边界，将所述目标视频划分为多个主题单元。
上述语音单元分割模块83包括：
上下文关联度计算子模块，用于分别计算每个文本块的上下文关联度；
深度分数计算子模块，用于根据所述上下文关联度，分别计算所述每个文本块的深度分数；
划分子模块，用于根据所述每个文本块的深度分数，将所述目标视频划分为多个语音单元，所述语音单元的数量等于所述场景边界的数量的预设倍数。
上述上下文关联度计算子模块包括：
特征提取单元，用于分别提取所述每个文本块的文本特征；
计算单元，用于基于所述文本特征，采用如下公式计算所述每个文本块的上下文关联度：
Figure 290452DEST_PATH_IMAGE010
其中，c表示所述每个文本块，p表示与所述每个文本块相邻的前一文本块，f表示与所述每个文本块相邻的后一文本块，wt,x表示x文本块的文本特征的第t维度的值，x=c、p或f，s(c)表示所述每个文本块的上下文关联度。
上述划分子模块包括：
排序单元，用于按照所述每个文本块的深度分数，对所述多个文本块进行排序；
目标文本块确定单元，用于根据排序结果，确定多个目标文本块，所述目标文本块的数量等于所述场景边界的数量的预设倍数；
划分单元，用于采用所述多个目标文本块，将所述目标视频划分为多个语音单元。
上述视频主题边界确定模块84包括：
映射子模块，用于将所述多个语音边界和所述多个场景边界分别映射到所述目标视频的时间轴上；
时间间隔计算子模块，用于分别计算所述多个场景边界与每个所述语音边界之间的多个时间间隔；
边界对确定子模块，用于根据所述多个时间间隔，确定多个边界对，每个所述边界对包括一个语音边界和一个场景边界；
视频主题边界确定子模块，用于根据所述多个边界对确定多个时间点，将所述多个时间点作为所述目标视频的多个视频主题边界。
上述边界对确定子模块包括：
第一边界对确定单元，用于确定所述多个时间间隔中最小的时间间隔所对应的第一场景边界和第一语音边界，将所述第一场景边界和所述第一语音边界作为第一边界对；
删除单元，用于删除所述多个时间间隔中与所述第一场景边界和/或所述第一语音边界相关的时间间隔；
第二边界对确定单元，用于确定剩余时间间隔中最小的时间间隔所对应的第二场景边界和第二语音边界，将所述第二场景边界和所述第二语音边界作为第二边界对。
图9为本申请一实施例提供的终端设备的结构示意图。如图9所示，该实施例的终端设备9包括：至少一个处理器90（图9中仅示出一个）处理器、存储器91以及存储在所述存储器91中并可在所述至少一个处理器90上运行的计算机程序92，所述处理器90执行所述计算机程序92时实现上述任意各个方法实施例中的步骤。
所述终端设备9可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器90、存储器91。本领域技术人员可以理解，图9仅仅是终端设备9的举例，并不构成对终端设备9的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器90可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器90还可以是其它通用处理器、数字信号处理器 (DigitalSignalProcessor，DSP)、专用集成电路 (ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列 (Field-ProgrammableGateArray，FPGA) 或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器91在一些实施例中可以是所述终端设备9的内部存储单元，例如终端设备9的硬盘或内存。所述存储器91在另一些实施例中也可以是所述终端设备9的外部存储设备，例如所述终端设备9上配备的插接式硬盘，智能存储卡（SmartMediaCard，SMC），安全数字（SecureDigital，SD）卡，闪存卡（FlashCard）等。进一步地，所述存储器91还可以既包括所述终端设备9的内部存储单元也包括外部存储设备。所述存储器91用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其它程序等，例如所述计算机程序的程序代码等。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种视频内容结构化方法，其特征在于，包括：
获取目标视频的视觉通道信息，基于所述视觉通道信息将所述目标视频划分为多个场景单元，所述多个场景单元包括多个场景边界；
将所述目标视频的语音转换为语音文本，并将所述语音文本分割为多个文本块；
分别计算每个文本块的上下文关联度；
根据所述上下文关联度，分别计算所述每个文本块的深度分数；
根据所述每个文本块的深度分数，将所述目标视频划分为多个语音单元，所述语音单元的数量等于所述场景边界的数量的预设倍数，所述多个语音单元包括多个语音边界；
根据所述目标视频的总时长、所述场景单元的个数以及所述多个文本块，按照如下公式确定视频主题个数：
Figure 489279DEST_PATH_IMAGE001
Figure 349787DEST_PATH_IMAGE002
其中，n为场景单元的个数，t为视频总时长，st为视频一个故事单元的平均时长，α、β和θ分别为经验参数，σ为文本块的深度分数的标准差，depthScore[i]表示第i个文本块的深度分数，count(depthScore[i])表示文本块的数量，TopicCount表示视频主题个数；
根据所述视频主题个数、所述多个场景边界和所述多个语音边界，确定所述目标视频的视频主题边界；
根据所述视频主题边界，将所述目标视频划分为多个主题单元。
2.如权利要求1所述的方法，其特征在于，所述分别计算每个文本块的上下文关联度，包括：
分别提取所述每个文本块的文本特征；
基于所述文本特征，采用如下公式计算所述每个文本块的上下文关联度：
Figure 283108DEST_PATH_IMAGE003
其中，c表示所述每个文本块，p表示与所述每个文本块相邻的前一文本块，f表示与所述每个文本块相邻的后一文本块，wt,x表示x文本块的文本特征的第t维度的值，x=c、p或f，s(c)表示所述每个文本块的上下文关联度。
3.如权利要求1所述的方法，其特征在于，所述根据所述每个文本块的深度分数，将所述目标视频划分为多个语音单元，包括：
按照所述每个文本块的深度分数，对所述多个文本块进行排序；
根据排序结果，确定多个目标文本块，所述目标文本块的数量等于所述场景边界的数量的预设倍数；
采用所述多个目标文本块，将所述目标视频划分为多个语音单元。
4.如权利要求1所述的方法，其特征在于，所述根据所述视频主题个数、所述多个场景边界、所述多个语音边界，确定所述目标视频的视频主题边界，包括：
根据所述视频主题个数，确定与所述视频主题个数相同的边界对个数；
将所述多个语音边界和所述多个场景边界分别映射到所述目标视频的时间轴上；
分别计算所述多个场景边界与每个所述语音边界之间的多个时间间隔；
根据所述多个时间间隔，确定多个边界对，每个所述边界对包括一个语音边界和一个场景边界；
根据所述多个边界对确定多个时间点，将所述多个时间点作为所述目标视频的多个视频主题边界。
5.如权利要求4所述的方法，其特征在于，所述多个边界对包括第一边界对和第二边界对，所述根据所述多个时间间隔，选取多个边界对，包括：
确定所述多个时间间隔中最小的时间间隔所对应的第一场景边界和第一语音边界，将所述第一场景边界和所述第一语音边界作为第一边界对；
删除所述多个时间间隔中与所述第一场景边界和/或所述第一语音边界相关的时间间隔；
确定剩余时间间隔中最小的时间间隔所对应的第二场景边界和第二语音边界，将所述第二场景边界和所述第二语音边界作为第二边界对。
6.如权利要求4所述的方法，其特征在于，根据所述多个边界对，采用如下公式确定多个时间点：
Figure 686408DEST_PATH_IMAGE004
其中，pk表示视频主题边界对应的时间点，xi表示第i个边界对中场景边界对应的时间点，yi表示第i个边界对中语音边界对应的时间点，λ为权重值。
7.一种视频内容结构化装置，其特征在于，包括：
场景边界划分模块，用于获取目标视频的视觉通道信息，基于所述视觉通道信息将所述目标视频划分为多个场景单元，所述多个场景单元包括多个场景边界；
文本块分割模块，用于将所述目标视频的语音转换为语音文本，并将所述语音文本分割为多个文本块；
上下文关联度计算模块，用于分别计算每个文本块的上下文关联度；
深度分数计算模块，用于根据所述上下文关联度，分别计算所述每个文本块的深度分数；
语音单元分割模块，用于根据所述每个文本块的深度分数，将所述目标视频划分为多个语音单元，所述语音单元的数量等于所述场景边界的数量的预设倍数，所述多个语音单元包括多个语音边界；
视频主题个数确定模块，用于根据所述目标视频的总时长、所述场景单元的个数以及所述多个文本块，确定视频主题个数；
视频主题边界确定模块，用于根据所述视频主题个数、所述多个场景边界和所述多个语音边界，按照如下公式确定所述目标视频的视频主题边界：
Figure 273247DEST_PATH_IMAGE001
Figure 761997DEST_PATH_IMAGE002
其中，n为场景单元的个数，t为视频总时长，st为视频一个故事单元的平均时长，α、β和θ分别为经验参数，σ为文本块的深度分数的标准差，depthScore[i]表示第i个文本块的深度分数，count(depthScore[i])表示文本块的数量，TopicCount表示视频主题个数；
主题单元划分模块，用于根据所述视频主题边界，将所述目标视频划分为多个主题单元。
8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
CN202011217518.2A 2020-11-04 2020-11-04 一种视频内容结构化方法、装置、终端设备及介质 Active CN112040313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011217518.2A CN112040313B (zh) 2020-11-04 2020-11-04 一种视频内容结构化方法、装置、终端设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011217518.2A CN112040313B (zh) 2020-11-04 2020-11-04 一种视频内容结构化方法、装置、终端设备及介质

Publications (2)

Publication Number Publication Date
CN112040313A CN112040313A (zh) 2020-12-04
CN112040313B true CN112040313B (zh) 2021-04-09

Family

ID=73572860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011217518.2A Active CN112040313B (zh) 2020-11-04 2020-11-04 一种视频内容结构化方法、装置、终端设备及介质

Country Status (1)

Country Link
CN (1) CN112040313B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929744B (zh) * 2021-01-22 2023-04-07 北京百度网讯科技有限公司 用于分割视频剪辑的方法、装置、设备、介质和程序产品
CN113096687B (zh) * 2021-03-30 2024-04-26 中国建设银行股份有限公司 音视频处理方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547139A (zh) * 2010-12-30 2012-07-04 北京新岸线网络技术有限公司 一种新闻视频节目切分方法、新闻视频编目方法及系统
CN106649713A (zh) * 2016-12-21 2017-05-10 中山大学 一种基于内容的电影可视化处理方法及其系统
CN109145152A (zh) * 2018-06-28 2019-01-04 中山大学 一种基于查询词的自适应智能生成图文视频缩略图方法
CN110197135A (zh) * 2019-05-13 2019-09-03 北京邮电大学 一种基于多维分割的视频结构化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547139A (zh) * 2010-12-30 2012-07-04 北京新岸线网络技术有限公司 一种新闻视频节目切分方法、新闻视频编目方法及系统
CN106649713A (zh) * 2016-12-21 2017-05-10 中山大学 一种基于内容的电影可视化处理方法及其系统
CN109145152A (zh) * 2018-06-28 2019-01-04 中山大学 一种基于查询词的自适应智能生成图文视频缩略图方法
CN110197135A (zh) * 2019-05-13 2019-09-03 北京邮电大学 一种基于多维分割的视频结构化方法

Also Published As

Publication number Publication date
CN112040313A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
US10528821B2 (en) Video segmentation techniques
Rui et al. Constructing table-of-content for videos
CN110083741B (zh) 文本与图像联合建模的面向人物的视频摘要提取方法
WO2020232796A1 (zh) 多媒体数据匹配方法、装置和存储介质
WO2023197979A1 (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN112287914B (zh) Ppt视频段提取方法、装置、设备及介质
CN108563655B (zh) 基于文本的事件识别方法和装置
CN108460098B (zh) 信息推荐方法、装置和计算机设备
CN111291177A (zh) 一种信息处理方法、装置和计算机存储介质
Dumont et al. Automatic story segmentation for tv news video using multiple modalities
CN110619284B (zh) 一种视频场景划分方法、装置、设备及介质
CN112040313B (zh) 一种视频内容结构化方法、装置、终端设备及介质
CN111767393A (zh) 一种文本核心内容提取方法及装置
CN113963303A (zh) 图像处理方法、视频识别方法、装置、设备及存储介质
CN108170845B (zh) 多媒体数据处理方法、装置及存储介质
US11990131B2 (en) Method for processing a video file comprising audio content and visual content comprising text content
CN113407775B (zh) 视频搜索方法、装置及电子设备
De Santo et al. An unsupervised algorithm for anchor shot detection
CN116090450A (zh) 一种文本处理方法及计算设备
CN118349684B (zh) 一种用于短视频图像的关键词提取方法、装置及存储介质
CN117573956B (zh) 元数据管理方法、装置、设备及存储介质
CN116704392B (zh) 视频处理方法、装置、设备、存储介质及产品
CN113792608B (zh) 一种智能语义分析方法及系统
CN118366071A (zh) 影片分割方法、装置、计算机设备及计算机可读存储介质
Mocanu et al. Automatic extraction of story units from TV news

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant