Nothing Special   »   [go: up one dir, main page]

CN104396262A - 同步电影概要 - Google Patents

同步电影概要 Download PDF

Info

Publication number
CN104396262A
CN104396262A CN201380033497.0A CN201380033497A CN104396262A CN 104396262 A CN104396262 A CN 104396262A CN 201380033497 A CN201380033497 A CN 201380033497A CN 104396262 A CN104396262 A CN 104396262A
Authority
CN
China
Prior art keywords
audiovisual object
data
time index
identified
audiovisual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380033497.0A
Other languages
English (en)
Inventor
利昂内尔·瓦瑟
杰奎因·扎佩达
路易斯·舍瓦利耶
帕特里克·佩雷斯
皮埃尔·赫利尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN104396262A publication Critical patent/CN104396262A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明涉及一种用于提供(104)视听对象的概要的方法。该方法包括以下步骤：从该视听对象捕获(101)信息；识别(102)该视听对象；确定(103)所捕获的信息相对于该视听对象的时间索引；以及提供(104)所识别的视听对象的一部分的概要，这一部分被包括在所识别的视听对象的开始与所确定的时间索引之间。

Description

同步电影概要
技术领域
本发明涉及一种用于提供视听对象的概要的方法。
背景技术
可能发生以下情况：观众错过正在重放的视听对象的开始。面对该问题，观众想要知道错过的内容。美国专利申请11/568，122通过以下方式来解决此问题：使用将节目映射到新段空间的概要功能并根据内容部分是内容流的开始部分、中间部分还是结尾部分来提供针对节目的内容流的一部分的自动概要。
本发明的一个目的是向终端用户提供更好地适应(tailored to)终端用户实际错过的内容的概要。
发明内容
为了这个目的，本发明提出了一种用于提供视听对象的概要的方法，所述方法包括以下步骤：
(i)从所述视听对象捕获信息，所述信息允许识别所述视听对象并允许确定相对于所述视听对象的时间索引；
(ii)识别所述视听对象；
(iii)确定所捕获的信息相对于所述视听对象的所述时间索引；以及
(iv)提供所识别的视听对象的一部分的概要，所述部分被包括在所识别的视听对象的开始与所确定的时间索引之间。
所述时间索引的确定使得能够准确地评估视听对象中用户已经错过的部分，并生成和提供适应错过部分的概要。因此，向用户提供了概要，所述概要包含与用户错过的内容有关的并且以所确定的时间索引为界的信息。例如，在所提供的概要中不公开视听对象的剧透。
本发明还涉及一种方法，其中：
数据库被提供，所述数据库包括所识别的视听对象的编有时间索引的图像的数据；
所捕获的信息是所述视听对象在所述捕获时的图像的数据；以及
所述时间索引是在所述视听对象在所述捕获时的图像的数据与所述数据库中的所识别的视听对象的编有时间索引的图像的数据之间进行相似性匹配时确定的。
优选地，所述视听对象的图像的数据的属性和所识别的视听对象的编有时间索引的图像的数据的属性是签名属性。
使用签名的优点具体地包括数据变得比原始数据更轻(lighter)，因此允许更快的识别和更快的匹配。
备选地，本发明涉及一种方法，其中：
数据库被提供，所述数据库包括所识别的视听对象的编有时间索引的音频信号的数据；
所捕获的信息是所述视听对象在所述捕获时的音频信号的数据；以及
所述时间索引是在所述视听对象在所述捕获时的音频信号的数据与所述数据库中的所识别的视听对象的编有时间索引的音频信号的数据之间进行相似性匹配时确定的。
优选地，所述视听对象的音频信号的数据的属性和所识别的视听对象的编有时间索引的音频信号的数据的属性是签名属性。
有利地，所述捕获步骤是由移动设备执行的。
有利地，所述识别步骤、所述确定步骤和所述提供步骤是在专用服务器上执行的。
以此方式，在捕获侧需要更少的处理功率，并且加速了提供概要的过程。
为了更好地理解，现在将参考附图在以下描述中更详细地解释本发明。应当理解的是，本发明不限于所述的实施例，并且在不脱离由所附权利要求所限定的本发明的范围的前提下，还可以适当地组合和/或修改所指定的特征。
附图说明
图1示出了根据本发明的方法的示例性流程图。
图2示出了根据本发明的允许方法的实现的装置的示例。
具体实施方式
参考图2，示出了被配置为实现本发明的方法的示例性装置。该装置包括：渲染设备201、捕获设备202和数据库204以及可选的专用服务器205。将参考图1中的流程图和图2中的装置更详细地解释本发明的方法的第一优选实施例。
渲染设备201用于渲染视听对象。例如，视听对象是电影，并且渲染设备201是显示器。然后，由装配有捕获装置的捕获设备202捕获101所渲染的视听对象的信息(例如正在显示的电影的图像的数据)。这种设备202是例如装配有数字摄相头的移动电话。所捕获的信息用于识别102视听对象并确定103相对于该视听对象的时间索引。随后，提供104所识别的视听对象的一部分的概要，其中对象的这一部分被包括在所识别的视听对象的开始与所确定的时间索引之间。
具体地，经由例如网络203向数据库204发送所捕获的信息(即电影的图像的数据)。数据库204包括所识别的视听对象(例如在本优选实施例中，电影集合)的编有时间索引的图像的数据。优选地，视听对象的图像的数据和数据库中的所识别的视听对象的编有时间索引的图像的数据是图像的签名。例如，这种签名可以使用关键点描述符(例如SIFT描述符)来提取。然后，在视听对象在捕获时的图像的数据与数据库204中编有时间索引的图像的数据之间(即在图像的签名之间)进行相似性匹配时，执行识别102视听对象和确定103所捕获的信息的时间索引的步骤。识别对于视听对象在捕获时的图像在数据库204中最相似的编有时间索引的图像，从而允许识别视听对象并确定所捕获的信息相对于视听对象的时间索引。于是，获得所识别的视听对象的一部分的概要并将其提供104给用户，所识别的视听对象的这一部分被包括在所识别的视听对象的开始与所确定的时间索引之间。
视听对象的图像的数据(例如图像签名)可以直接由装配有捕获装置的捕获设备202或备选地在专用服务器205上捕获。类似地，识别102视听对象、确定103所捕获的信息的时间索引和提供104概要的步骤可以备选地在专用服务器205上执行。
直接在设备202上执行图像签名捕获的优点是：在存储器方面，向专用服务器205发送的数据的重量更轻。
在专用服务器205上执行签名捕获的优点是：签名的属性可以在服务器侧控制。因此，视听对象的图像的签名的属性和数据库204中编有时间索引的图像的签名的属性是相同的并可以直接进行比较。
数据库204可以位于专用服务器205之内。当然，数据库204也可以位于专用服务器205之外。
在以上优选实施例中，所捕获的信息是图像的数据。以更一般的方式，信息可以是能够由拥有自适应捕获装置的捕获设备202捕获的任意数据，只要所捕获的数据能够实现识别102视听对象以及确定103所捕获的信息相对于视听对象的时间索引。
在针对本发明的方法的第二优选实施例中，所捕获的信息是视听对象在捕获时的音频信号的数据。该信息可以由装配有麦克风或扬声器的移动设备捕获。视听对象的音频信号的数据可以是音频信号的签名，然后将该签名匹配到与数据库204中包含的音频签名集合中最相似的音频签名。因此，相似性匹配用于识别102视听对象并确定103所捕获的信息相对于视听对象的时间索引。随后，提供104所识别的视听对象的一部分的概要，其中对象的这一部分被包括在所识别的视听对象的开始与所确定的时间索引之间。
现在将描述数据库204和所识别的视听对象的一部分的概要的示例。在现有和/或公共数据库的帮助下，执行离线处理以生成数据库204。现在将解释用于大量电影集合的示例性数据库，但本发明不限于以下描述。
对于数据库204的概要数据库，生成整个电影的临时同步概要。这例如取决于现有提要，例如可以在因特网电影数据库(IMDB)上得到的那些提要。可以直接根据电影的名称取回这种提要。可以通过使用例如给定电影的音轨的录制将给定电影的文本描述与给定电影的视听对象进行同步，来执行同步。于是，执行从录制和文本描述中提取的文字和概念的匹配，从而得到电影的同步提要。当然可以手动地获得同步提要。
可选地，还提取额外信息。脸部检测和集群处理应用于整个电影，从而提供在电影中可见的脸部的集群。每个集群由于对应于相同人物的脸部组成。该集群处理可以使用M. Everingham、J.Sivic和A.Zisserman的““Hello！My nameis...Buffy”-Automatic naming ofcharacters in TV video”Proceedings of the 17th British Machine VisionConference(BMVC 2006)中详述的技术进行。然后获得与关联于特定人物的存在的电影时间码列表相关联的人物列表。可以将所获得的集群与给定电影的IMDB人物列表进行匹配，以获得更好的集群结果。该匹配过程可以包括手动步骤。
所获得的同步提要概要和集群列表被存储到数据库204中。数据库204中的电影被划分为多个帧，并提取每个帧。然后对电影的帧编索引以便于同步后处理，例如确定103所捕获的信息相对于电影的时间索引。备选地，替代提取电影的每一帧，通过适当的欠采样来提取仅一部分帧，以减少要处理的数据量。对于每个所提取的帧，生成图像签名，例如基于关键点描述的指纹。以高效的方式给那些关键点及其相关联的描述编索引，这可以使用H. Jégou、M. Douze和C.Schmid在“Hamming embedding and weak geometric consistency for large scaleimage search-ECCV， October 2008”中所描述的技术来完成。然后将与图像签名相关联的电影的帧存储到数据库204中。
为了获得所识别的视听对象(例如电影)的一部分的概要，由捕获设备202捕获视听对象的信息(例如其图像的数据)。然后向数据库204发送该信息，并与数据库204进行比较以识别视听对象。例如，在数据库204中识别与所捕获的信息相对应的电影的帧。所识别的帧有利于所捕获的信息与数据库204中的同步提要概要之间的匹配，从而确定所捕获的信息相对于电影的时间索引。然后向用户提供电影的一部分的同步概要，其中电影的这一部分被包括在所识别的电影的开始与所确定的时间索引之间。例如，概要可以通过在移动设备202上显示并由用户阅读来提供。可选地，概要可以包括在电影的这一部分中出现的人物的集群列表。

Claims (7)

1.一种用于提供(104)视听对象的概要的方法，包括以下步骤：
(i)从所述视听对象捕获(101)信息，所述信息允许识别所述视听对象并允许确定相对于所述视听对象的时间索引；
(ii)识别(102)所述视听对象；
(iii)确定(103)所捕获的信息相对于所述视听对象的所述时间索引；以及
(iv)提供(104)所识别的视听对象的一部分的概要，所述部分被包括在所识别的视听对象的开始与所确定的时间索引之间。
2.根据权利要求1所述的方法，其中：
数据库(204)被提供，所述数据库(204)包括所识别的视听对象的编有时间索引的图像的数据；
所捕获的信息是所述视听对象在所述捕获时的图像的数据；以及
所述时间索引是在所述视听对象在所述捕获时的图像的数据与所述数据库(204)中的所识别的视听对象的编有时间索引的图像的数据之间进行相似性匹配时确定的。
3.根据权利要求2所述的方法，其中：
所述视听对象的图像的数据的属性和所识别的视听对象的编有时间索引的图像的数据的属性是签名属性。
4.根据权利要求1所述的方法，其中：
数据库(204)被提供，所述数据库(204)包括所识别的视听对象的编有时间索引的音频信号的数据；
所捕获的信息是所述视听对象在所述捕获时的音频信号的数据；以及
所述时间索引是在所述视听对象在所述捕获时的音频信号的数据与所述数据库(204)中的所识别的视听对象的编有时间索引的音频信号的数据之间进行相似性匹配时确定的。
5.根据权利要求2所述的方法，其中：
所述视听对象的音频信号的数据的属性和所识别的视听对象的编有时间索引的音频信号的数据的属性是签名属性。
6.根据前述权利要求中任一项所述的方法，其中，所述捕获(101)步骤是由移动设备(202)执行的。
7.根据前述权利要求中任一项所述的方法，其中，所述识别(102)步骤、所述确定(103)步骤和所述提供(104)步骤是在专用服务器(205)上执行的。
CN201380033497.0A 2012-06-25 2013-06-18 同步电影概要 Pending CN104396262A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12305733 2012-06-25
EP12305733.3 2012-06-25
PCT/EP2013/062568 WO2014001137A1 (en) 2012-06-25 2013-06-18 Synchronized movie summary

Publications (1)

Publication Number Publication Date
CN104396262A true CN104396262A (zh) 2015-03-04

Family

ID=48656038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380033497.0A Pending CN104396262A (zh) 2012-06-25 2013-06-18 同步电影概要

Country Status (6)

Country Link
US (1) US20150179228A1 (zh)
EP (1) EP2865186A1 (zh)
JP (1) JP2015525411A (zh)
KR (1) KR20150023492A (zh)
CN (1) CN104396262A (zh)
WO (1) WO2014001137A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10652592B2 (en) * 2017-07-02 2020-05-12 Comigo Ltd. Named entity disambiguation for providing TV content enrichment
US10264330B1 (en) * 2018-01-03 2019-04-16 Sony Corporation Scene-by-scene plot context for cognitively impaired

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160950A (en) * 1996-07-18 2000-12-12 Matsushita Electric Industrial Co., Ltd. Method and apparatus for automatically generating a digest of a program
US20020070958A1 (en) * 1999-01-22 2002-06-13 Boon-Lock Yeo Method and apparatus for dynamically generating a visual program summary from a multi-source video feed
WO2005103954A1 (en) * 2004-04-23 2005-11-03 Koninklijke Philips Electronics N.V. Method and apparatus to catch up with a running broadcast or stored content
CN1972437A (zh) * 2005-11-01 2007-05-30 国际商业机器公司 用于数据处理的方法和装置
CN101142591A (zh) * 2004-04-19 2008-03-12 兰德马克数字服务有限责任公司 内容采样和标识
US20110276157A1 (en) * 2010-05-04 2011-11-10 Avery Li-Chun Wang Methods and Systems for Processing a Sample of a Media Stream

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005062610A1 (en) * 2003-12-18 2005-07-07 Koninklijke Philips Electronics N.V. Method and circuit for creating a multimedia summary of a stream of audiovisual data
US8781152B2 (en) * 2010-08-05 2014-07-15 Brian Momeyer Identifying visual media content captured by camera-enabled mobile device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160950A (en) * 1996-07-18 2000-12-12 Matsushita Electric Industrial Co., Ltd. Method and apparatus for automatically generating a digest of a program
US20020070958A1 (en) * 1999-01-22 2002-06-13 Boon-Lock Yeo Method and apparatus for dynamically generating a visual program summary from a multi-source video feed
CN101142591A (zh) * 2004-04-19 2008-03-12 兰德马克数字服务有限责任公司 内容采样和标识
WO2005103954A1 (en) * 2004-04-23 2005-11-03 Koninklijke Philips Electronics N.V. Method and apparatus to catch up with a running broadcast or stored content
CN1972437A (zh) * 2005-11-01 2007-05-30 国际商业机器公司 用于数据处理的方法和装置
US20110276157A1 (en) * 2010-05-04 2011-11-10 Avery Li-Chun Wang Methods and Systems for Processing a Sample of a Media Stream

Also Published As

Publication number Publication date
KR20150023492A (ko) 2015-03-05
WO2014001137A1 (en) 2014-01-03
JP2015525411A (ja) 2015-09-03
EP2865186A1 (en) 2015-04-29
US20150179228A1 (en) 2015-06-25

Similar Documents

Publication Publication Date Title
US9881085B2 (en) Methods, systems, and media for aggregating and presenting multiple videos of an event
US7831598B2 (en) Data recording and reproducing apparatus and method of generating metadata
US10264329B2 (en) Descriptive metadata extraction and linkage with editorial content
CN101373482B (zh) 信息处理设备和信息处理方法
US8805123B2 (en) System and method for video recognition based on visual image matching
US20130101162A1 (en) Multimedia System with Processing of Multimedia Data Streams
US9426411B2 (en) Method and apparatus for generating summarized information, and server for the same
WO2016184051A1 (zh) 图片搜索方法、装置、设备及非易失性计算机存储介质
US10694263B2 (en) Descriptive metadata extraction and linkage with editorial content
CN104598541A (zh) 多媒体文件的识别方法、装置
US20170344542A1 (en) Information query method, terminal device, system and computer storage medium
US9131207B2 (en) Video recording apparatus, information processing system, information processing method, and recording medium
CN105159959A (zh) 图像文件的处理方法和系统
KR20120090101A (ko) 디지털 비디오 고속 정합 시스템
WO2017000744A1 (zh) 用于在线播放的字幕加载方法和装置
US11941048B2 (en) Tagging an image with audio-related metadata
CN111274449A (zh) 视频播放方法、装置、电子设备和存储介质
KR20200024541A (ko) 동영상 컨텐츠 검색 지원 방법 및 이를 지원하는 서비스 장치
US9812173B2 (en) Signal recording apparatus, camera recorder, and signal processing system
CN104396262A (zh) 同步电影概要
CN112328834A (zh) 视频关联方法、装置、电子设备及存储介质
KR102005034B1 (ko) 영상 기반의 객체 정보 획득 방법 및 장치
US20150032718A1 (en) Method and system for searches in digital content
KR20100110137A (ko) 컨텐츠 검색을 위한 자동 영상 쿼리 추천 방법 및 이를 이용한 컨텐츠 플레이 단말
Jayanetti Evaluating Social Media Reach via Mainstream Media Discourse

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150304

WD01 Invention patent application deemed withdrawn after publication