CN113704540B - 一种视频处理方法及终端 - Google Patents
一种视频处理方法及终端 Download PDFInfo
- Publication number
- CN113704540B CN113704540B CN202110908099.5A CN202110908099A CN113704540B CN 113704540 B CN113704540 B CN 113704540B CN 202110908099 A CN202110908099 A CN 202110908099A CN 113704540 B CN113704540 B CN 113704540B
- Authority
- CN
- China
- Prior art keywords
- preset
- video
- information
- content information
- voice tag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims description 69
- 238000004590 computer program Methods 0.000 claims description 8
- 239000012634 fragment Substances 0.000 claims description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种视频处理方法及终端,在视频录制过程中判断是否接收到预设标签,若是,则获取所述预设标签对应的描述信息;根据所述预设标签以及所述描述信息对所述视频进行打点,生成打点后的视频;将所述预设标签以及所述预设标签对应的描述信息保存至预设视频内容检索库,提高了视频打点效率的同时,保证了视频打点的准确度,同时,将预设标签以及所述预设标签对应的描述信息保存至预设视频内容检索库,预设标签和描述信息能够标记并描述对应的视频内容,当视频录制完成后,与其对应的视频内容检索信息也已建立完成,提高了建立预设视频内容检索库的效率,从而在提高视频处理效率的同时,保证视频处理的准确度。
Description
技术领域
本发明涉及视频处理技术领域,尤其涉及一种视频处理方法及终端。
背景技术
随着多媒体技术与网络的飞速发展,图像、视频等多媒体信息以前所未有的速度增长,其中,视频是多媒体信息的重要表现形式,它包含了丰富的内容和语义。而人们如何对视频内容进行正确地描述,并快速有效地找到自己所需要的内容,成为一个越来越重要的问题。
现有技术中,通常是对视频数据进行分析,提取表征视频内容的特征,准确地描述视频内容,再基于所描述的视频内容进行检索。常用方法有以下几种:
1、采用人工标注的方法,即采用人工查看视频,记录时间与发生事件,然后人工编辑内容信息,并标注时间点,再根据人工增加的内容信息和时间点进行检索。
2、通过从视频中提取音频信息,再将音频信息转换成文字,通过对文字的编排,形成不同的段落及段落标题,同时还形成不同段落与时间线之间的关联关系,按照段落标题在视频中进行打点处理,这样就可以根据打点信息以及文字信息进行定位和检索。
3、对视频内容进行分析,使用预设检测算法检测视频图像以及音频帧,以获取视频内容的人脸信息、文字信息、图案信息以及声音信息;获取人脸相似信息、文字相似信息、图案相似信息、声音相似信息;根据人脸相似信息、文字相似信息、图案相似信息以及声音相似信息,生成内容检索报告;对视频内容中的人脸信息、文字信息、图案信息以及声音信息进行检索。
从以上三种方法可以看出,建立视频的内容检索信息都是对现有视频的内容采用人工或电脑自动化的方法进行提取、分析和建立的;人工标注的方法精度高,但效率低,而采用提取音频以及视频内容进行分析方法,效率相较于人工标注方法会提升一些,但误差较大,同时也避免不了人工的参与,因此,目前亟需一种既能提高效率,又能确保准确度的视频处理方法。
发明内容
本发明所要解决的技术问题是:提供一种视频处理方法及终端,能够在提高视频处理效率的同时,保证视频处理的准确度。
为了解决上述技术问题,本发明采用的一种技术方案为:
一种视频处理方法,包括:
在视频录制过程中判断是否接收到预设标签,若是,则获取所述预设标签对应的描述信息;
根据所述预设标签以及所述描述信息对所述视频进行打点,生成打点后的视频;
将所述预设标签以及所述预设标签对应的描述信息保存至预设视频内容检索库。
为了解决上述技术问题,本发明采用的另一种技术方案为:
一种视频处理终端,包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
在视频录制过程中判断是否接收到预设标签,若是,则获取所述预设标签对应的描述信息;
根据所述预设标签以及所述描述信息对所述视频进行打点,生成打点后的视频;
将所述预设标签以及所述预设标签对应的描述信息保存至预设视频内容检索库。
本发明的有益效果在于:不再像现有技术中,对录制完成的视频进行打点处理,而是在视频录制的过程中,当接收到预设标签时,根据预设标签以及描述信息对视频进行打点,提高了视频打点效率的同时,保证了视频打点的准确度,同时,将预设标签以及所述预设标签对应的描述信息保存至预设视频内容检索库,预设标签和描述信息能够标记并描述对应的视频内容,当视频录制完成后,与其对应的视频内容检索信息也已建立完成,提高了建立预设视频内容检索库的效率,从而在提高视频处理效率的同时,保证视频处理的准确度。
附图说明
图1为本发明实施例的一种视频处理方法的步骤流程图;
图2为本发明实施例的一种视频处理终端的结构示意图;
图3为本发明实施例视频处理方法中的流程示意图;
图4为本发明实施例视频处理方法中的预设视频内容检索库的存储示意图;
图5为本发明实施例视频处理方法中的多个数据表与预设视频内容检索库的示意图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图予以说明。
请参照图1,本发明实施例提供了一种视频处理方法,包括:
在视频录制过程中判断是否接收到预设标签,若是,则获取所述预设标签对应的描述信息;
根据所述预设标签以及所述描述信息对所述视频进行打点,生成打点后的视频;
将所述预设标签以及所述预设标签对应的描述信息保存至预设视频内容检索库。
从上述描述可知,本发明的有益效果在于:不再像现有技术中,对录制完成的视频进行打点处理,而是在视频录制的过程中,当接收到预设标签时,根据预设标签以及描述信息对视频进行打点,提高了视频打点效率的同时,保证了视频打点的准确度,同时,将预设标签以及所述预设标签对应的描述信息保存至预设视频内容检索库,预设标签和描述信息能够标记并描述对应的视频内容,当视频录制完成后,与其对应的视频内容检索信息也已建立完成,提高了建立预设视频内容检索库的效率,从而在提高视频处理效率的同时,保证视频处理的准确度。
进一步地,所述预设标签包括预设语音标签;
所述在视频录制过程中判断是否接收到预设标签,若是,则获取所述预设标签对应的描述信息包括:
在视频录制过程中实时获取所述视频的音频数据;
通过语音识别判断所述音频数据中是否存在预设语音标签,若是,则获取所述预设语音标签对应的描述信息。
由上述描述可知,所述预设标签包括预设语音标签,在视频录制的过程中,用户能够直接口述预设语音标签以及对应的描述信息,当使用语音识别判断音频数据中存在预设语音标签时,能够自动获取其对应的描述信息,预设语音标签和描述信息可以最直观地描述出需要在视频中打点的信息,能够提高视频打点效率,从而提高视频处理效率。
进一步地,所述获取所述预设语音标签对应的描述信息包括:
获取所述预设语音标签对应的初始内容信息以及时间点信息;
判断所述初始内容信息在至所述时间点信息起的预设时间内是否存在预设结束标记,若是,则将所述初始内容信息确定为最终内容信息,否则,判断所述初始内容信息是否符合与所述预设语音标签对应的预设规则,若是,则将所述初始内容信息确定为最终内容信息,若否,则发送确定内容信息指令;
接收与所述确定内容信息指令对应的修改后的内容信息;
将所述修改后的内容信息确定为最终内容信息;
将所述最终内容信息确定为所述预设语音标签对应的描述信息。
由上述描述可知,获取预设语音标签对应的初始内容信息以及时间点信息,当初始内容信息在至时间点信息起的预设时间内不存在预设结束标记,且初始内容信息不符合预设规则时,说明一个预设语音标签中用户语音输入了多个内容信息或者内容信息明显错误,需要发送确定内容信息指令,用于用户确定内容信息,将修改后的内容信息确定为最终内容信息,进而提高了视频打点的准确度,同时也有利于保证后续建立的视频内容检索信息的可靠度。
进一步地,所述根据所述预设标签以及所述描述信息对所述视频进行打点,生成打点后的视频包括:
根据所述时间点信息确定所述视频中与所述时间点信息对应的关键帧;
按照所述预设语音标签与所述最终内容信息对所述关键帧进行打点,生成打点后的视频。
由上述描述可知,根据时间点信息确定视频中与该时间点信息对应的关键帧,按照预设语音标签与最终内容信息对关键帧进行打点,生成打点后的视频,在视频录制的过程中就直接形成了打点信息的关键要素,能够对视频进行实时打点,提高了视频打点效率,进而提高了视频处理的效率。
进一步地,所述将所述预设标签以及所述预设标签对应的描述信息保存至预设视频内容检索库包括:
根据所述预设语音标签得到与所述预设语音标签对应的预设层次关系;
基于键值存储方式将所述预设语音标签以及所述预设语音标签对应的最终内容信息和时间点信息按照所述预设层次关系保存至预设视频内容检索库。
由上述描述可知,基于键值存储方式将预设语音标签以及最终内容信息和时间点信息按照预设层次关系保存至预设视频内容检索库,使预设视频内容检索库形成了目录树型结构,且采用键值存储方式存储数据,能够支持分布式存储、检索,有利于实现高效检索。
进一步地,所述将所述预设标签以及所述预设标签对应的描述信息保存至预设视频内容检索库之后包括:
基于所述预设视频内容检索库中的所述预设语音标签和所述最终内容信息生成多个数据表,并建立所述多个数据表与所述预设视频内容检索库的关联关系。
由上述描述可知,基于预设视频内容检索库中的预设语音标签和最终内容信息生成多个数据表,并建立多个数据表与视频内容检索库的关联关系,后续检索时,能够基于多个数据表得到检索结果,再从预设视频内容检索库中检索视频内容,提高了视频检索的效率。
进一步地,所述建立所述多个数据表与所述视频内容检索库的关联关系之后包括:
接收视频内容检索请求,所述视频内容检索请求包括检索关键词;
根据所述检索关键词从所述多个数据表中确定与所述检索关键词对应的检索结果;
根据所述预设视频内容检索库确定与所述检索结果对应的目标预设语音标签、目标最终内容信息和目标时间点信息;
从所述视频中获取与所述目标预设语音标签、目标最终内容信息和目标时间点信息对应的视频片段。
由上述描述可知,根据检索关键词从多个数据表中确定检索结果,再从预设视频内容检索库确定与检索结果对应的目标预设语音标签、目标最终内容信息和目标时间点信息,然后从视频中获取对应的视频片段,不仅能够适用于简单的视频内容检索,还能适用于复杂的视频内容检索,实现了高效的视频内容检索。
进一步地,所述从所述视频中获取与所述目标预设语音标签、目标最终内容信息和目标时间点信息对应的视频片段之后包括:
判断所述视频片段是否存在多个,若是,则将多个所述视频片段进行拼接并展示,若否,则将所述视频片段进行展示。
进一步地,所述将多个所述视频片段进行拼接并展示包括:
按照多个所述视频片段的时间顺序依次从所述视频中获取并展示。
由上述描述可知,当检索获取到多个视频片段后,直接将多个视频片段按照时间顺序进行展示,并未对原视频进行切分或整合,也未将拼接后的多个视频进行保存,实现了视频的动态拼接展示,节省了存储空间。
请参照图2,本发明另一实施例提供了一种视频处理终端,包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述视频处理方法中的各个步骤。
本发明上述视频处理方法及终端能够适用于需要打点和检索内容的视频,以下通过具体实施方式进行说明:
实施例一
请参照图1、3,本实施例的一种视频处理方法,包括:
S1、在视频录制过程中判断是否接收到预设标签,若是,则获取所述预设标签对应的描述信息;
具体的,所述预设标签包括预设语音标签,所述预设语音标签可根据实际需要进行设置,比如在消防设施维保检查场景中,维保或者检查的过程需要录制视频文件以保留工作痕迹,并作为事后工作确认、问题分析定位使用,预设语音标签可设置为项目编号、项目名称、检测位置、检测人、检测详细位置、消防设施编号、消防设施名称等等;
在视频录制过程中实时获取所述视频的音频数据;
通过语音识别判断所述音频数据中是否存在预设语音标签,若是,则获取所述预设语音标签对应的描述信息;
其中,如图3所示,在视频录制过程中可实时将视频输出至流媒体处理引擎中,同时流媒体处理引擎将音频数据分流至语音识别引擎,通过语音识别判断音频数据中是否存在预设语音标签;
在另一种可选的实施方式中,所述预设标签还包括预设按键标签;
当预设标签为预设按键标签时,在视频录制过程中实时判断所述视频中是否存在预设按键标签,若是,则获取所述预设按键标签对应的描述信息;
可以在移动终端的屏幕或终端主体上设置按键,为按键设置对应的预设按键标签,当用户录制视频的过程中需要进行打点时,用户可触摸该按键,以此触发按键对应的预设按键标签;
具体的,所述获取所述预设语音标签对应的描述信息包括:
获取所述预设语音标签对应的初始内容信息以及时间点信息;
判断所述初始内容信息在至所述时间点信息起的预设时间内是否存在预设结束标记,若是,则将所述初始内容信息确定为最终内容信息,否则,判断所述初始内容信息是否符合与所述预设语音标签对应的预设规则,若是,则将所述初始内容信息确定为最终内容信息,若否,则发送确定内容信息指令;
接收与所述确定内容信息指令对应的修改后的内容信息;
将所述修改后的内容信息确定为最终内容信息;
将所述最终内容信息确定为所述预设语音标签对应的描述信息;
其中,所述时间点信息为预设语音标签出现的视频时间点,所述预设时间可根据实际需要进行设置;
所述预设结束标记可根据实际需要进行设置,比如为语音输入的“结束”、“OVER”或“完毕”等;
所述与预设语音标签对应的预设规则也可根据实际需要进行设置,比如当预设语音标签为消防设施编号,消防设施编号均为4位数时,则该预设语音标签对应的预设规则为输入的信息必须为4位数;
比如,所述预设时间为20秒,所述预设结束标记为“结束”,判断初始内容信息在至时间点信息起的20秒内是否存在“结束”标记,若是,则将初始内容信息确定为最终内容信息,否则,判断初始内容信息是否符合与预设语音标签对应的预设规则,若是,则将初始内容信息确定为最终内容信息,若否,则发送确定内容信息指令,该确定内容信息指令可通过语音输出或文本输出的方式提醒用户确定内容信息;
在另一种可选的实施方式中,可将部分关键的、容易出错的预设语音标签标记为关键标签,当检测到标记为关键标签的预设语音标签时,则直接发送确定内容信息指令,接收与所述确定内容信息指令对应的确认后的内容信息,判断所述确认后的内容信息与初始内容信息是否一致,若是,则将所述初始内容信息确定为最终内容信息,若否,则将所述确认后的内容信息确定为最终内容信息;
S2、根据所述预设标签以及所述描述信息对所述视频进行打点,生成打点后的视频;
S3、将所述预设标签以及所述预设标签对应的描述信息保存至预设视频内容检索库。
实施例二
请参照图3、4,本实施例在实施例一的基础上进一步限定了如何对视频进行打点并建立视频内容检索信息,具体为:
所述S2包括:
根据所述时间点信息确定所述视频中与所述时间点信息对应的关键帧;
按照所述预设语音标签与所述最终内容信息对所述关键帧进行打点,生成打点后的视频,如图3所示;
具体的,生成打点后的视频之后,在视频播放时在进度条上可以看到具体的关键帧上有对应的打点信息,该打点信息可以是预设语音标签与最终内容信息,也可以只是最终内容信息;
所述S3包括:
根据所述预设语音标签得到与所述预设语音标签对应的预设层次关系;
基于键值存储方式将所述预设语音标签以及所述预设语音标签对应的最终内容信息和时间点信息按照所述预设层次关系保存至预设视频内容检索库;
其中,所述预设层次关系可根据实际需要进行设置,在消防设施维保检查场景中,可以从项目角度划分,如此项目分为哪几个阶段,具体阶段内的工作内容等;从地理位置划分,如哪几栋楼、哪些楼层、哪些防火区等;从时间维度划分,如上周工作内容,本周工作内容,下周工作内容等;从消防设施的层次划分,有通风排烟、消防供水、烟雾感测等,消防供水系统有消防水泵、消防管道、室外消防栓、室内消防栓等;
比如,预设语音标签为检测位置、检测人、检测详细位置、消防设施编号和消防设施名称,对应的最终内容信息为A栋、张三、第一层、1234、消防栓,时间点信息为1分03秒,1分05秒,1分07秒,1分10秒和1分14秒,那么以地理位置划分,对应的预设层次关系可设置为检测人和检测位置为同一层次,检测详细位置为检测人和检测位置的下一层次,消防设施编号和消防设施名称为检测详细位置的下一层次,如图4所示;
存储方式使用键值存储方式,即Key-Value,比如将检测位置作为Key,其对应的Value为(A栋,1分03秒),检测详细位置作为Key,其对应的Value为(第一层,1分07秒)。
实施例三
请参照图4、5,本实施例在实施例一或二的基础上进一步限定了如何基于预设视频内容检索库进行视频内容检索,具体为:
S4、基于所述预设视频内容检索库中的所述预设语音标签和所述最终内容信息生成多个数据表,并建立所述多个数据表与所述预设视频内容检索库的关联关系;
假设预设视频内容检索库如图4所示,基于预设视频内容检索库中的预设语音标签和最终内容信息生成多个数据表,如重点单位数据表、建筑信息数据表、消防设施数据表、消防设施状态数据表、消防检测项目数据表和消防检测任务数据表等,这些数据表可以采用XML、JSON、YML、TXT或其他格式进行存储,建立这些数据表与预设视频内容检索库的关联关系,如图5所示;
重点单位数据表可保存重点单位的相关信息,包括地理位置、检测人等信息;建筑信息数据表可保存重点单位所管辖的建筑信息,如楼栋、楼层、防火区等信息;消防设施数据表可保存具体某个建筑内,在不同楼栋、楼层或防火区的消防系统及其设施、设备情况,如消防供水系统及其各设施、设备的编号、名称、型号、存在位置、检测人、安装时间等信息;消防设施状态数据表可保存具体的消防设施的每次检测的状态信息;消防检测项目数据表可保存重点单位进行消防检测的项目信息,如项目编号、项目名称等;消防检测任务数据表可保存具体项目中设置的详细任务,如对某栋建筑、楼层、防火区的某个消防设施进行检测的任务情况,包括检测执行时间、检测人、检测结果、异常情况说明等;
S5、接收视频内容检索请求,所述视频内容检索请求包括检索关键词;
比如,消防支队需要检索:南山区的重点消防单位在2021年4月至6月份进行的消防年度检测中,消防供水系统异常的检测记录清单、检测视频内容、后续处理的方法、再次检测的结果、再次检测的视频内容以及截止目前为止这些供水系统运行的状态情况、遗留问题的负责人联系方式等;
在这个检索需求中,包括了三个检索:第一个检索是4-6月份南山区消防检测中供水有问题的清单列表;第二个检索是针对一中有问题的清单中的后续检测的记录;第三个检索是目前这些清单中的当前状态以及相关负责人员;第二个和第三个检索需要从第一个检索记录中抽取相关的信息进行再次检索;
S6、根据所述检索关键词从所述多个数据表中确定与所述检索关键词对应的检索结果;
S7、根据所述预设视频内容检索库确定与所述检索结果对应的目标预设语音标签、目标最终内容信息和目标时间点信息;
S8、从所述视频中获取与所述目标预设语音标签、目标最终内容信息和目标时间点信息对应的视频片段;
具体的,对于第一个检索,细化为a检索、b检索、c检索和d检索,对于a检索,从重点单位数据表中,获取“地理位置”包含“深圳市南山区”的重点单位信息列表,包括单位名称、地理位置、检测人等信息;检索式为:select单位名称,地理位置,检测人from重点单位where地理位置like'%深圳市南山区%';
对于b检索,根据a检索的单位信息,在消防检测项目数据表中,获取“检测时间”在“2021年4月至6月”之间、“检测类型”为“消防年度检测”的项目信息;检索式为:select a.单位名称,a.地理位置,a.消防负责人,b.项目名称from重点单位a inner join消防检测项目b ON a.单位名称=b.单位名称where a.地理位置like'%深圳市南山区%'and b.检测类型=“消防年度检测”and b.检测开始时间>'2021-04-01'and b.检测结束时间<'2021-07-01’;
对于c检索,根据b检索的项目信息中,在消防检测任务数据表,获取“消防系统”为“消防供水系统”、“检测结果”为“异常”的任务信息;检索式为:select a.单位名称,a.地理位置,a.消防负责人,b.项目名称,c.检测任务,c.消防设施名称from(重点单位a innerjoin消防检测项目b ON a.单位名称=b.单位名称)inner join消防检测任务c where a.地理位置like'%深圳市南山区%'and b.检测类型=“消防年度检测”and b.检测开始时间>'2021-04-01'and b.检测结束时间<'2021-07-01’and c.项目名称=b.项目名称andc.消防系统='消防供水系统'and c.检测结果='异常';
对于d检索,根据c检索的任务信息中,在预设视频内容检索库中,获取这些任务对应的视频信息,包括检测异常点发生和结束的时间点信息等;检索式为:select a.单位名称,a.地理位置,a.消防负责人,b.项目名称,c.检测任务,c.消防设施名称,d.视频名称,d.异常开始时间,d.异常结束时间from((重点单位a inner join消防检测项目b ON a.单位名称=b.单位名称)inner join消防检测任务c)inner join消防检测视频d where a.地理位置like'%深圳市南山区%'and b.检测类型=“消防年度检测”and b.检测开始时间>'2021-04-01'and b.检测结束时间<'2021-07-01’and c.项目名称=b.项目名称and c.消防系统='消防供水系统'and c.检测结果='异常'and d.检测任务=c.检测任务;
对于第二个检索,获取第一个检索的c检索中检索到的c.设备名称、b.项目名称、c.检测结束时间;在消防检测任务数据表中,查询“项目名称”为“1c.b.项目名称”、“设备名称”为“1c.c.设备名称”、“检测结束时间”大于“1c.c.检测结束时间”的任务名称、检测结果等信息;根据第二个检索的b检索的检索结果,在预设视频内容检索库中查询到对应的视频片段;
对于第三个检索,获取第一个检索的c检索中检索到的a.重点单位、c.设备名称;在消防设施状态数据表中,查询“设备名称”为“1c.c.设备名称”和“状态更新时间”为最新的该设备状态;在重点单位数据表中,查询“重点单位”为“1c.a.重点单位”的该单位消防安全负责人姓名和联系方式;
对于第一、第二和第三个检索的检索结果中的文本信息,可以整合在一起以列表方式进行展示;
S9、判断所述视频片段是否存在多个,若是,则将多个所述视频片段进行拼接并展示,若否,则将所述视频片段进行展示;
具体的,所述将多个所述视频片段进行拼接并展示包括:
获取多个所述视频片段后,将多个所述视频片段按照时间顺序进行展示;
其中,直接从视频片段的存储位置获取多个视频片段,将多个视频片段按照时间顺序进行展示,并不单独存储多个视频片段。
实施例四
请参照图2,一种视频处理终端,包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现实施例一、实施例二或实施例三中的视频处理方法中的各个步骤。
综上所述,本发明提供的一种视频处理方法及终端,在视频录制过程中,实时获取视频的音频数据,当通过语音识别判断音频数据中是否存在预设语音标签时,则获取预设语音标签对应的初始内容信息以及时间点信息,当初始内容信息在至时间点信息起的预设时间内不存在预设结束标记,且初始内容信息不符合预设规则时,发送确定内容信息指令,用于用户确定内容信息,将修改后的内容信息确定为最终内容信息,进而提高了视频打点的准确度,用户能够直接语音输入预设语音标签以及对应的描述信息,使用语音识别能够自动获取其对应的描述信息,预设语音标签和描述信息可以最直观地描述出需要在视频中打点的信息,能够提高视频打点效率;根据时间点信息确定视频中与时间点信息对应的关键帧,按照预设语音标签与最终内容信息对关键帧进行打点,生成打点后的视频,在视频录制的过程中就直接形成了打点信息的关键要素,能够对视频进行实时打点;将预设语音标签以及预设语音标签对应的描述信息保存至预设视频内容检索库,提高了建立预设视频内容检索库的效率;根据检索关键词从多个数据表中确定与检索关键词对应的检索结果,根据预设视频内容检索库确定与检索结果对应的目标预设语音标签、目标最终内容信息和目标时间点信息,从视频中获取对应的视频片段,不仅能够适用于简单的视频内容检索,还能适用于复杂的视频内容检索,实现了高效的视频内容检索;当检索获取到多个视频片段后,直接将多个视频片段按照时间顺序进行展示,并未对原视频进行切分或整合,也未将拼接后的多个视频进行保存,实现了视频的动态拼接展示,节省了存储空间,从而在提高视频处理效率的同时,保证视频处理的准确度。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种视频处理方法,其特征在于,包括:
在视频录制过程中判断是否接收到预设标签,若是,则获取所述预设标签对应的描述信息;
根据所述预设标签以及所述描述信息对所述视频进行打点,生成打点后的视频;
将所述预设标签以及所述预设标签对应的描述信息保存至预设视频内容检索库;
所述预设标签包括预设语音标签;所述预设语音标签包括项目编号、项目名称、检测位置、检测人、检测详细位置、消防设施编号和消防设施名称;
所述在视频录制过程中判断是否接收到预设标签,若是,则获取所述预设标签对应的描述信息包括:
在视频录制过程中实时获取所述视频的音频数据;
通过语音识别判断所述音频数据中是否存在预设语音标签,若是,则获取所述预设语音标签对应的描述信息;
所述获取所述预设语音标签对应的描述信息包括:
获取所述预设语音标签对应的初始内容信息以及时间点信息;
判断所述初始内容信息在至所述时间点信息起的预设时间内是否存在预设结束标记,若是,则将所述初始内容信息确定为最终内容信息,否则,判断所述初始内容信息是否符合与所述预设语音标签对应的预设规则,若是,则将所述初始内容信息确定为最终内容信息,若否,则发送确定内容信息指令;
接收与所述确定内容信息指令对应的修改后的内容信息;
将所述修改后的内容信息确定为最终内容信息;
将所述最终内容信息确定为所述预设语音标签对应的描述信息;
所述预设标签还包括预设按键标签;
所述在视频录制过程中判断是否接收到预设标签,若是,则获取所述预设标签对应的描述信息包括:
在视频录制过程中实时判断所述视频中是否存在预设按键标签,若是,则获取所述预设按键标签对应的描述信息;
所述将所述预设标签以及所述预设标签对应的描述信息保存至预设视频内容检索库包括:
根据所述预设语音标签得到与所述预设语音标签对应的预设层次关系;所述预设层次关系包括从项目角度划分的层次关系、从地理位置划分的层次关系、从时间维度划分的层次关系和从消防设施的层次划分的层次关系;
基于键值存储方式将所述预设语音标签以及所述预设语音标签对应的最终内容信息和时间点信息按照所述预设层次关系保存至预设视频内容检索库;
所述将所述预设标签以及所述预设标签对应的描述信息保存至预设视频内容检索库之后包括:
基于所述预设视频内容检索库中的所述预设语音标签和所述最终内容信息生成多个数据表,并建立所述多个数据表与所述预设视频内容检索库的关联关系。
2.根据权利要求1所述的一种视频处理方法,其特征在于,所述根据所述预设标签以及所述描述信息对所述视频进行打点,生成打点后的视频包括:
根据所述时间点信息确定所述视频中与所述时间点信息对应的关键帧;
按照所述预设语音标签与所述最终内容信息对所述关键帧进行打点,生成打点后的视频。
3.根据权利要求1所述的一种视频处理方法,其特征在于,所述建立所述多个数据表与所述视频内容检索库的关联关系之后包括:
接收视频内容检索请求,所述视频内容检索请求包括检索关键词;
根据所述检索关键词从所述多个数据表中确定与所述检索关键词对应的检索结果;
根据所述预设视频内容检索库确定与所述检索结果对应的目标预设语音标签、目标最终内容信息和目标时间点信息;
从所述视频中获取与所述目标预设语音标签、目标最终内容信息和目标时间点信息对应的视频片段。
4.根据权利要求3所述的一种视频处理方法,其特征在于,所述从所述视频中获取与所述目标预设语音标签、目标最终内容信息和目标时间点信息对应的视频片段之后包括:
判断所述视频片段是否存在多个,若是,则将多个所述视频片段进行拼接并展示,若否,则将所述视频片段进行展示。
5.根据权利要求4所述的一种视频处理方法,其特征在于,所述将多个所述视频片段进行拼接并展示包括:
按照多个所述视频片段的时间顺序依次从所述视频中获取并展示。
6.一种视频处理终端,包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的一种视频处理方法中的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110908099.5A CN113704540B (zh) | 2021-08-09 | 2021-08-09 | 一种视频处理方法及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110908099.5A CN113704540B (zh) | 2021-08-09 | 2021-08-09 | 一种视频处理方法及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113704540A CN113704540A (zh) | 2021-11-26 |
CN113704540B true CN113704540B (zh) | 2023-08-22 |
Family
ID=78651951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110908099.5A Active CN113704540B (zh) | 2021-08-09 | 2021-08-09 | 一种视频处理方法及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113704540B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104581351A (zh) * | 2015-01-28 | 2015-04-29 | 上海与德通讯技术有限公司 | 音频或视频的录制方法及其播放方法、电子装置 |
CN107948585A (zh) * | 2017-11-13 | 2018-04-20 | 西安艾润物联网技术服务有限责任公司 | 录像标记方法、装置及计算机可读存储介质 |
CN110278398A (zh) * | 2018-03-16 | 2019-09-24 | 杭州海康威视数字技术股份有限公司 | 数据存储方法、视频片段搜索方法、装置及电子设备 |
CN111510656A (zh) * | 2020-07-02 | 2020-08-07 | 北京梦天门科技股份有限公司 | 一种执法视频截取方法、设备、电子设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11074292B2 (en) * | 2017-12-29 | 2021-07-27 | Realwear, Inc. | Voice tagging of video while recording |
-
2021
- 2021-08-09 CN CN202110908099.5A patent/CN113704540B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104581351A (zh) * | 2015-01-28 | 2015-04-29 | 上海与德通讯技术有限公司 | 音频或视频的录制方法及其播放方法、电子装置 |
CN107948585A (zh) * | 2017-11-13 | 2018-04-20 | 西安艾润物联网技术服务有限责任公司 | 录像标记方法、装置及计算机可读存储介质 |
CN110278398A (zh) * | 2018-03-16 | 2019-09-24 | 杭州海康威视数字技术股份有限公司 | 数据存储方法、视频片段搜索方法、装置及电子设备 |
CN111510656A (zh) * | 2020-07-02 | 2020-08-07 | 北京梦天门科技股份有限公司 | 一种执法视频截取方法、设备、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113704540A (zh) | 2021-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106971009B (zh) | 语音数据库生成方法及装置、存储介质、电子设备 | |
JP5257330B2 (ja) | 発言記録装置、発言記録方法、プログラム及び記録媒体 | |
CN107608732B (zh) | 一种基于bug知识图谱的bug搜索定位方法 | |
CN102342124B (zh) | 用于提供与广播节目相关的信息的装置和方法 | |
US10056112B2 (en) | Annotating media content for automatic content understanding | |
US7640272B2 (en) | Using automated content analysis for audio/video content consumption | |
EP2179583B1 (en) | Method and apparatus for automated content marking | |
US20150227851A1 (en) | Method and system for crowd detection | |
CN109558513B (zh) | 一种内容推荐方法、装置、终端及存储介质 | |
US20050114357A1 (en) | Collaborative media indexing system and method | |
US20070266304A1 (en) | Annotating media files | |
CN111506771B (zh) | 一种视频检索方法、装置、设备及存储介质 | |
JP2006155384A (ja) | 映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体 | |
CN109697245A (zh) | 基于网页视频的语音搜索方法和装置 | |
JPWO2020208448A5 (zh) | ||
US20240201835A1 (en) | Information processing apparatus, information processing method, and storage medium for person search | |
CN113094625B (zh) | 页面元素定位方法、装置、电子设备及存储介质 | |
CN113704540B (zh) | 一种视频处理方法及终端 | |
CN111723235B (zh) | 音乐内容识别方法、装置及设备 | |
CN111629267B (zh) | 音频标注方法、装置、设备及计算机可读存储介质 | |
CN114266170A (zh) | 一种燃气输配管网中气源供应范围识别方法和装置 | |
CN107908724B (zh) | 一种数据模型匹配方法、装置、设备及存储介质 | |
CN111104032A (zh) | 一种cad图纸处理方法和相关装置 | |
CN112685072B (zh) | 通信地址知识库的生成方法、装置、设备及存储介质 | |
US6768947B2 (en) | System and method for accessing and analyzing previous generations of seismic data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |