Nothing Special   »   [go: up one dir, main page]

CN115443459A - 具有内容的趋势分析的消息收发系统 - Google Patents

具有内容的趋势分析的消息收发系统 Download PDF

Info

Publication number
CN115443459A
CN115443459A CN202180030588.3A CN202180030588A CN115443459A CN 115443459 A CN115443459 A CN 115443459A CN 202180030588 A CN202180030588 A CN 202180030588A CN 115443459 A CN115443459 A CN 115443459A
Authority
CN
China
Prior art keywords
content
frequency
words
modification
content item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180030588.3A
Other languages
English (en)
Inventor
莱昂纳多·里巴斯马沙多达斯内韦斯
维托尔·席尔瓦索萨
舒巴姆·维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snap Inc filed Critical Snap Inc
Publication of CN115443459A publication Critical patent/CN115443459A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • G06F16/353Clustering; Classification into predefined classes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/183Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G10L15/197Probabilistic grammars, e.g. word n-grams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10Multimedia information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/18Commands or executable codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/222Monitoring or handling of messages using geographical location information, e.g. messages transmitted or received in proximity of a certain spot or area
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种消息收发系统对由消息收发系统的用户制作的内容执行趋势分析。消息收发系统被配置成根据从与用户相关联的客户端设备接收的内容项提取修改,其中,内容项被使用包括文本题注或媒体覆盖的修改来修改。消息收发系统还被配置成根据内容项和所提取的修改,确定一个或更多个词,并且确定一个或更多个词在内容项和所提取的修改中的频数。消息收发系统还被配置成基于该频数和聚合频数来确定一个或更多个词是否是趋势。消息收发系统还被配置成响应于一个或更多个词被确定为趋势,生成与一个或更多个词相关联的趋势内容,该趋势内容是文本、图像或增强内容。

Description

具有内容的趋势分析的消息收发系统
优先权要求
本申请要求于2020年4月24日提交的美国临时申请序列第62/704,163号和于2020年9月24日提交的美国专利申请序列第16/948,582号的优先权的权益,上述美国临时申请和美国专利申请中的每一个通过引用其整体并入本文中。
技术领域
本公开内容的实施方式总体上涉及消息收发系统内的内容的趋势分析。更特别地,但不限于此,本公开内容的实施方式涉及基于分析在消息收发系统中生成的内容来确定趋势,以及基于所确定的趋势来生成新内容和/或新修改。
背景技术
当前的消息收发系统为用户提供了制作和发布诸如图像和视频的内容的机会。使这些内容在消息系统中可供其他用户消费。用户可能制作很大量的内容。例如,可能存在数百万的图像和视频可供用户消费。要找到当前流行或热门的内容可能是困难的或耗时的。此外,用户可能难以找到对同一类型内容感兴趣的其他用户,并且用户可能难以确定内容的话题。
附图说明
在附图中,相同的附图标记可以在不同的视图中描述类似的部件,附图不一定按比例绘制。为了容易标识对任何特定元件或动作的讨论,附图标记中的一个最高位数字或多个最高位数字指代该元件被首次引入时所在的图号。在附图中以示例而非限制的方式示出了一些实施方式,在附图中:
图1是根据一些示例的其中可以部署本公开内容的联网环境的图解表示。
图2是根据一些示例的具有客户端侧功能和服务器侧功能两者的消息收发系统的图解表示。
图3是根据一些示例的在数据库中维护的数据结构的图解表示。
图4是根据一些示例的消息的图解表示。
图5是根据一些示例的访问限制处理的流程图。
图6是根据一些示例的呈计算机系统形式的机器的图解表示,在该计算机系统内可以执行一组指令以使该机器执行本文中所讨论的方法中任何一种或更多种。
图7是示出可以在其中实现示例的软件架构的框图。
图8是根据一些示例的处理环境的图解表示。
图9示出了根据一些实施方式的用于确定趋势的系统。
图10示出了根据一些实施方式的用户。
图11示出了根据一些实施方式的内容。
图12示出了根据一些实施方式的度量数据库。
图13示出了根据一些实施方式的修改提取模块。
图14示出了根据一些实施方式的内容。
图15示出了根据一些实施方式的搜索。
图16示出了根据一些实施方式的内容消费度量提取模块。
图17示出了根据一些实施方式的用户元数据收集模块。
图18示出了根据一些实施方式的数据过滤和聚合系统。
图19示出了根据一些实施方式的趋势分析模块和相关分析模块934。
图20示出了根据一些实施方式的趋势分析模块的操作的示例。
图21示出了根据一些实施方式的文本和视觉内容的趋势分析的方法。
图22示出了根据一些实施方式的趋势分析模块的操作。
图23示出了根据一些实施方式的用户对话题的参加和关于话题的记录的数量的示例。
图24示出了根据一些实施方式的新内容、新修改、报告、外部事件和推荐的生成。
图25示出了根据一些实施方式的示例报告。
图26示出了根据一些实施方式的示例报告。
图27示出了根据一些实施方式的用于文本和视觉内容的趋势分析的方法。
发明内容
以下描述包括实施本公开内容的说明性实施方式的系统、方法、技术、指令序列及计算机器程序产品。在下面的描述中,出于说明的目的,阐述了许多具体细节以提供对本发明主题的各种实施方式的理解。然而,对于本领域技术人员将明显的是,可以在没有这些具体细节的情况下实践本发明主题的实施方式。一般地,公知的指令实例、协议、结构和技术不一定详细地示出。
公开了一种消息收发系统,该消息收发系统根据由消息收发系统的用户制作和消费的内容确定趋势。该消息收发系统分析用户、内容、内容数据的制作和内容数据的消费,以确定n-gram,使得消息收发系统中制作的内容可以由n-gram表征。根据一些实施方式,该n-gram是n个词。示例n-gram包括“王室婚礼”、“超级星期二”、“阿凡达”、“迈克尔·乔丹”等。根据一些实施方式,n-gram是根据内容确定的。n-gram可以是来自文本或语音的给定样本的n个项的连续序列。例如,这些项可以是音素、音节、字母、单词或基对。然后,消息收发系统确定所确定的n-gram中哪些正在成为热门。在一些实施方式中,针对n-gram确定流行度评分。在一些实施方式中,基于用户与内容的交互,例如用户花费多少时间观看内容,针对n-gram确定热情度评分。
消息收发系统采用关于内容和用户的各种生成的数据库,并生成聚合数据库,聚合数据库移除了用户的个人信息以确保用户的隐私。在一些实施方式中,消息收发系统删除了暴露用户的隐私数据的所生成的数据库。一些实施方式通过生成基于图像中识别的对象的n-gram来改进对趋势的识别,这些图像是由消息收发系统的用户发送的消息的一部分。
在一些实施方式中,消息收发系统基于归一化的使用频数来确定哪些n-gram是趋势。在一些实施方式中,消息收发系统基于可能增加n-gram的频数或减少n-gram的频数的外部事件来调整对每个n-gram的评分。在一些实施方式中,消息收发系统确定n-gram在若干时间窗口期间的流行度或热情度评分,并且基于n-gram在若干时间窗口期间的流行度或热情度来选择n-gram作为趋势。
一些实施方式为识别对在消息收发系统中发送的消息进行分类的诸如n-gram的短语的技术问题提供了技术解决方案。一些实施方式为确定表征消息的哪些短语或n-gram在消息收发系统内正在形成趋势的技术问题提供了技术解决方案,在该消息收发系统内每天有数百万消息被发送。一些实施方式为在保持个人用户的隐私的同时使用消息收发系统的用户的用户简档数据的技术问题提供了技术解决方案。消息收发系统还可以将n-gram分类为发展的趋势、增长的趋势、下降的趋势、尖峰趋势等。
一些实施方式具有通过向用户推荐正在形成趋势的内容来改善由消息收发系统的用户进行的内容消费的优势。一些实施方式通过向消息收发系统的用户推荐制作与当前趋势性话题有关的内容来改进消息收发系统上的内容的可用性。一些实施方式通过将与消息收发系统内的趋势有关的广告进行定向来提高广告的定向和可能收取的价格。一些实施方式通过使用趋势生成可以被添加到消息中并且与当前趋势有关的诸如标贴、题注和歌曲的修改内容来改善用户制作消息的环境。
联网计算环境
图1是示出用于通过网络来交换数据(例如,消息和相关联的内容)的示例消息收发系统100的框图。消息收发系统100包括客户端设备102的多个实例,每个实例托管包括消息收发客户端104的若干应用。每个消息收发客户端104经由网络106(例如,因特网)通信上耦接至消息收发客户端104的其他实例和消息收发服务器系统108。
消息收发客户端104能够经由网络106与另一消息收发客户端104和消息收发服务器系统108通信并交换数据。在消息收发客户端104之间以及消息收发客户端104与消息收发服务器系统108之间交换的数据包括功能(例如,激活功能的命令)以及有效载荷数据(例如,文本、音频、视频或其他多媒体数据)。
消息收发服务器系统108经由网络106向特定消息收发客户端104提供服务器侧功能。虽然消息收发系统100的某些功能在本文中被描述为由消息收发客户端104或由消息收发服务器系统108执行,但是某些功能的在消息收发客户端104或消息收发服务器系统108内的定位可以是设计选择。例如,在技术上优选的可能是:最初将某些技术和功能部署在消息收发服务器系统108内,但是后面将该技术和功能迁移至客户端设备102具有足够处理能力的消息收发客户端104。
消息收发服务器系统108支持向消息收发客户端104提供的各种服务和操作。这样的操作包括向消息收发客户端104发送数据、从消息收发客户端104接收数据以及对由消息收发客户端104生成的数据进行处理。作为示例,该数据可以包括消息内容、客户端设备信息、地理定位信息、媒体增强和覆盖、消息内容持续条件、社交网络信息和实况事件信息。通过经由消息收发客户端104的用户接口(UI)可用的功能来激活和控制消息收发系统100内的数据交换。
现在具体地转至消息收发服务器系统108,应用程序接口(API)服务器110耦接至应用服务器112并向应用服务器112提供编程接口。应用服务器112通信地耦接至数据库服务器118,数据库服务器120促成对数据库120的访问,该数据库126存储与通过应用服务器112处理的消息相关联的数据。类似地,web服务器124耦接至应用服务器112,并且向应用服务器112提供基于web的接口。为此,web服务器124通过超文本传输协议(HTTP)和若干其他相关协议处理传入的网络请求。
应用程序接口(API)服务器110在客户端设备102与应用服务器112之间接收和发送消息数据(例如,命令和消息有效载荷)。具体地,应用程序接口(API)服务器110提供一组接口(例如,例程和协议),消息收发客户端104可以调用或查询该组接口以激活应用服务器112的功能。应用程序接口(API)服务器110显露由应用服务器112支持的各种功能,包括:帐户注册;登录功能;经由应用服务器112将消息从特定消息收发客户端104发送至另一消息收发客户端104;将媒体文件(例如,图像或视频)从消息收发客户端104发送至消息收发服务器114并用于另一消息收发客户端104的可能访问;媒体数据集合(例如,故事)的设置;检索客户端设备102的用户的朋友列表;检索这样的集合;检索消息和内容;在实体图(例如,社交图)中添加和删除实体(例如,朋友);在社交图中定位朋友;以及打开应用事件(例如,与消息收发客户端104有关)。
应用服务器112托管若干服务器应用和子系统,包括例如消息收发服务器114、图像处理服务器116以及社交网络服务器122。消息收发服务器114实现了若干消息处理技术和功能,特别是与从消息收发客户端104的多个实例接收到的消息中包括的内容(例如,文本和多媒体内容)的聚合和其他处理有关的消息处理技术和功能。如将进一步详细地描述的,来自多个源的文本和媒体内容可以被聚合成内容的集合(例如,被称为故事(story)或图库(gallery))。然后,使这些集合对消息收发客户端104可用。鉴于对这样的处理的硬件要求,也可以由消息收发服务器114在服务器端执行数据的其他处理器和存储器密集型处理。
应用服务器112还包括图像处理服务器116,该图像处理服务器122专用于执行各种图像处理操作,通常相对于在从消息收发服务器114发送或者在消息收发服务器118处接收的消息的有效载荷内的图像或视频,执行各种图像处理操作。
社交网络服务器122支持各种社交联网功能和服务并使这些功能和服务可用于消息收发服务器114。为此,社交网络服务器122维护和访问数据库120内的实体图306(如图3所示)。社交网络服务器122所支持的功能和服务的示例包括识别消息收发系统100中的与特定用户具有关系或该特定用户正在“关注”的其他用户,以及识别特定用户的兴趣和其他实体。
系统架构
图2是示出根据一些示例的关于消息收发系统100的进一步细节的框图。具体地,消息收发系统100被显示为包括消息收发客户端104和应用服务器112。消息收发系统100包含若干子系统,这些子系统在客户端由消息收发客户端104支持并且在服务器端由应用服务器112支持。这些子系统包括例如短暂定时器系统202、集合管理系统204、修改系统206、地图系统208、游戏系统210和趋势系统212。
短暂定时器系统202负责施行由消息收发客户端104和消息收发服务器114对内容进行临时或限时访问。短暂定时器系统202包含若干个定时器,这些定时器基于与消息或消息集合(例如,故事)相关联的持续时间和显示参数,选择性地实现经由消息收发客户端104访问(例如,用于呈现和显示)消息和相关联的内容。下面提供关于短暂计时器系统202的操作的另外的细节。
集合管理系统204负责管理媒体的合集或集合(例如,文本、图像、视频和音频数据的集合)。可以将内容(例如,消息,包括图像、视频、文本和音频)的集合组织成“事件图库”或“事件故事”。可以使这样的集合在例如与内容有关的事件的持续时间的指定的时间段内可用。例如,可以在音乐会的持续时间内使与音乐会相关的内容作为“故事”可用。集合管理系统204还可以负责向消息收发客户端104的用户接口发布提供特定集合存在的通知的图标。
此外,集合管理系统204还包括允许集合管理器管理和策展内容的特定集合的策展接口212。例如,策展接口212使得事件组织者能够策展与特定事件相关的内容的集合(例如,删除不适当的内容或冗余消息)。此外,集合管理系统204采用机器视觉(或图像识别技术)和内容规则来自动地策展内容集合。在某些示例中,可以为将用户生成的内容包括到集合中向用户支付补偿。在这样的情况下,集合管理系统204进行操作以自动地为使用用户的内容向这样的用户进行支付。
增强系统206提供使得用户能够增强(例如,注释或以其他方式修改或编辑)与消息相关联的媒体内容的各种功能。例如,增强系统206提供与生成和发布用于由消息收发系统100处理的消息的媒体覆盖(media overlay)有关的功能。增强系统206基于客户端设备102的地理定位可操作地向消息收发客户端104提供媒体覆盖或增强(例如,图像过滤器)。在另一示例中,增强系统206基于诸如客户端设备102的用户的社交网络信息的其他信息可操作地向消息收发客户端104供应媒体覆盖。媒体覆盖可以包括音频和视觉内容以及视觉效果。音频和视觉内容的示例包括图片、文本、标志、动画和声音效果。视觉效果的示例包括颜色覆盖。音频和视觉内容或视觉效果可以应用于客户端设备102处的媒体内容项(例如,照片)。例如,媒体覆盖可以包括可以覆盖在由客户端设备102拍摄的照片之上的文本或图像。在另一示例中,媒体覆盖包括定位标识(例如,威尼斯海滩)覆盖、实况事件的名称或商家名称(例如,海滩咖啡馆)覆盖。在另一示例中,增强系统206使用客户端设备102的地理定位来标识包括在客户端设备102的地理定位处的商家的名称的媒体覆盖。媒体覆盖可以包括与商家相关联的其他标记。媒体覆盖可以存储在数据库120中并通过数据库服务器118访问。
在一些示例中,增强系统206提供基于用户的发布平台,该基于用户的发布平台使得用户能够选择地图上的地理定位并上传与所选择的地理定位相关联的内容。用户还可以指定应当向其他用户提供特定媒体覆盖的情况。增强系统206生成包括所上传的内容并将所上传的内容与所选择的地理定位相关联的媒体覆盖。
在其他示例中,增强系统206提供基于商家的发布平台,该平台使商家能够选择经由竞标处理与地理定位相关联的特定媒体覆盖。例如,增强系统206将最高竞价商家的媒体覆盖与对应地理定位相关联达预定义时间量。
地图系统208提供各种地理定位功能,并且支持由消息收发客户端104呈现基于地图的媒体内容和消息。例如,地图系统208使得能够在地图上显示(例如,存储在简档数据308中的)用户图标或化身,以指示用户的“朋友”的当前或过去位置,以及由这些朋友在地图的上下文内生成的媒体内容(例如,包括照片和视频的消息的集合)。例如,在消息收发客户端104的地图界面上,可以将用户从特定地理定位发布到消息收发系统100的消息在地图的该特定位置的上下文内显示给特定用户的“朋友”。用户还可以经由消息收发客户端104与消息收发系统100的其他用户(例如,使用适当的状况化身)共享他的或她的的定位和状况信息,该定位和状况信息在消息收发客户端104的地图界面的上下文内被显示给所选择的用户。
游戏系统210在消息收发客户端104的上下文内提供各种游戏功能。消息收发客户端104提供游戏界面,该游戏界面提供可用游戏的列表,该游戏可以由用户在消息收发客户端104的上下文中启动并与消息收发系统100的其他用户一起玩。消息收发系统100还使特定用户能够通过从消息收发客户端104向其他用户发出邀请来邀请这样的其他用户参与玩特定游戏。消息收发客户端104还支持游戏上下文内的语音消息收发和文本消息收发两者(例如,聊天),为游戏提供排行榜,并且还支持提供游戏内奖励(例如,钱币和物品)。
趋势系统212提供与确定趋势有关的各种功能,并且支持向消息收发客户端104提供基于趋势的推荐。趋势系统212提供帮助生成附加修改的系统,增强系统206可以将附加修改提供给消息收发客户端104。根据一些实施方式,修改可以被称为增强。趋势系统212可以监测并确定与在消息收发系统100内生成的内容有关的统计信息。趋势系统212可以监测收集管理系统204、增强系统206、地图系统208和游戏系统210的活动,以及消息收发客户端104和应用服务器112的其他活动,以确定形成趋势的内容。趋势系统212可以向消息收发客户端104和/或应用服务器112生成推荐,例如向用户显示或建议哪些内容。趋势系统212可以制作附加的内容或建议应该制作哪类内容。趋势系统212可以制作报告,该报告可以用于营销和销售,并且可以确定哪些内容包括广告并帮助确定广告的价值。趋势系统212可以分析内容并确定诸如冠状病毒引起的大流行的外部事件,并生成新的内容以指示外部事件。图9提供了趋势系统212的概述。
数据架构
图3是示出根据某些示例的可以存储在消息收发服务器系统108的数据库120中的数据结构300的示意图。虽然数据库120的内容被示出为包括若干表,但是将理解的是,数据可以以其他类型的数据结构进行存储(例如,作为面向对象的数据库)。
数据库120包括存储在消息表302内的消息数据。对于任何特定的一条消息,该消息数据包括至少消息发送者数据、消息接收方(或接收者)数据和有效载荷。下面参照图4描述关于可以被包括在消息中并且被包括在存储在消息表302中的消息数据中的信息的另外的细节。
实体表304存储实体数据,并且(例如,参考地)链接到实体图306和简档数据308。其记录保存在实体表304内的实体可以包括个人、公司实体、组织、对象、地点、事件等。不管实体类型如何,消息收发服务器系统108存储关于其的数据的任何实体可以是识别的实体。每个实体设置有唯一标识符,以及实体类型标识符(未示出)。
实体图306存储关于实体之间的关系和关联的信息。仅作为示例,这样的关系可以是基于兴趣或基于活动的职业关系(例如,在共同的公司或组织工作)、社交关系。
简档数据308存储关于特定实体的多种类型的简档数据。基于由特定实体指定的隐私设置,简档数据308可以被选择性地使用并呈现给消息收发系统100的其他用户。在实体是个人的情况下,简档数据308包括例如用户名、电话号码、地址、设置(例如,通知和隐私设置),以及用户选择的化身表示(或这种化身表示的集合)。然后,特定用户可以将这些化身表示中的一个或更多个选择性地包括在经由消息收发系统100传送的消息的内容中以及在由消息收发客户端104向其他用户显示的地图界面上。化身表示的集合可以包括“状态化身”,其呈现用户可以选择在特定时间进行通信的状态或活动的图解表示。
在实体是团体的情况下,除了团体名称、成员和相关团体的各种设置(例如,通知)之外,团体的简档数据308还可以类似地包括与团体相关联的一个或更多个化身表示。
数据库120还在增强表310中存储增强数据,例如覆盖(overlay)或过滤器。增强数据与视频(视频的数据被存储在视频表314中)和图像(图像的数据被存储在图像表316中)相关联并且应用于视频和图像。
在一个示例中,过滤器是在向接收方用户呈现期间被显示为覆盖在图像或视频上的覆盖。过滤器可以是各种类型的,包括当发送用户正在编写消息时从由消息收发客户端104呈现给发送用户的一组过滤器中用户选择的过滤器。其他类型的过滤器包括地理定位过滤器(也称为地理过滤器),其可以基于地理定位被呈现给发送用户。例如,可以基于由客户端设备102的全球定位系统(GPS)单元确定的地理定位信息,由消息收发客户端104在用户接口内呈现特定于附近或特殊定位的地理定位过滤器。
另一种类型的过滤器是数据过滤器,其可以由消息收发客户端104基于在消息创建处理期间由客户端设备102收集的其他输入或信息选择性地呈现给发送用户。数据过滤器的示例包括特定定位处的当前温度、发送用户行进的当前速度、客户端设备102的电池寿命或当前时间。
可以被存储在图像表316内的其他增强数据包括增强现实内容项(例如,对应于应用镜头或增强现实体验)。增强现实内容项可以是可以添加至图像或视频的实时特殊效果和声音。
如上所述,增强数据包括增强现实内容项、覆盖、图像变换、AR图像以及涉及可以应用于图像数据(例如,视频或图像)的修改的类似术语。这包括实时修改,其在使用客户端设备102的设备传感器(例如,一个或更多个摄像装置)捕获图像时对图像进行修改并且然后在具有修改的情况下在客户端设备102的屏幕上显示图像。这还包括对所存储的内容的修改,例如对可以被修改的图库中的视频片段的修改。例如,在可以访问多个增强现实内容项的客户端设备102中,用户可以使用具有多个增强现实内容项的单个视频片段来查看不同的增强现实内容项将如何修改存储的片段。例如,通过为同一内容选择不同的增强现实内容项,可以将应用不同伪随机运动模型的多个增强现实内容项应用于该同一内容。类似地,实时视频捕获可以与示出的修改一起使用,以显示当前由客户端设备102的传感器捕获的视频图像将如何修改捕获的数据。这样的数据可以简单地显示在屏幕上而不存储在存储器中,或者由设备传感器捕获的内容可以在进行或不进行修改(或两者)的情况下被记录并存储在存储器中。在某些系统中,预览功能可以同时显示不同的增强现实内容项在显示器的不同窗口中将看起来如何。例如,这可以实现同时在显示器上查看具有不同伪随机动画的多个窗口。
因此,使用增强现实内容项的数据和各种系统或使用该数据修改内容的其他此类变换系统可以涉及视频帧中对象(例如,脸、手、身体、猫、狗、表面、对象等)的检测,在这些对象离开视场、进入视场以及在视场四处移动时对这些对象的跟踪,以及在跟踪这些对象时对其进行的修改或变换。在各种实施方式中,可以使用用于实现这样的转换的不同方法。一些示例可以涉及生成一个或更多个对象的3维网格模型,以及在视频内使用模型的变换和动画纹理来实现变换。在其他示例中,可以使用对象上的点的跟踪将图像或纹理(可以是二维或三维的)放置在所跟踪的位置处。在更进一步的示例中,可以使用视频帧的神经网络分析将图像、模型或纹理放置在内容(例如,图像或视频帧)中。因此,增强现实内容项既指用于在内容中创建变换的图像、模型和纹理,也指通过对象检测、跟踪和放置实现此类变换所需的附加建模和分析信息。
可以利用保存在任何种类的计算机化系统的存储器中的任何种类的视频数据(例如,视频流、视频文件等)来执行实时视频处理。例如,用户可以加载视频文件并将其保存在设备的存储器中,或者可以使用设备的传感器生成视频流。此外,可以使用计算机动画模型来处理任何对象,例如人脸和人体的各部分、动物或非生物(例如椅子、汽车或其他对象)。
在一些示例中,当与要变换的内容一起选择特定修改时,要变换的元素由计算设备识别,然后如果要变换的元素存在于视频的帧中,则要变换的元素被检测和跟踪。根据修改请求修改对象的元素,从而变换视频流的帧。对于不同种类的变换,可以通过不同的方法执行对视频流的帧的变换。例如,对于主要涉及改变对象元素形式的帧转换,计算对象的每个元素的特征点(例如,使用主动形状模型(ASM)或其他已知方法)。然后,针对对象的至少一个元素中的每一个生成基于特征点的网格。该网格用于跟踪视频流中的对象的元素的后续阶段。在跟踪处理中,将所提及的每个元素的网格与每个元素的位置对准。然后,在网格上生成附加点。基于修改请求针对每个元素生成第一点的第一集合,并且基于第一点的集合和修改请求针对每个元素生成第二点的集合。然后,可以通过基于第一点的集合和第二点的集合以及网格修改对象的元素,对视频流的帧进行转换。在这种方法中,也可以通过跟踪和修改背景来使所修改对象的背景改变或变形。
在一些示例中,使用对象的元素改变对象的一些区域的变换可以通过计算对象的每个元素的特征点并基于计算的特征点生成网格来执行。在网格上生成点,然后基于这些点生成各种区域。然后,通过将每个元素的区域与至少一个元素中的每一个的位置对准来跟踪对象的元素,并且可以基于修改的请求来修改区域的属性,从而转换视频流的帧。根据具体修改请求,可以以不同的方式变换提及的区域的属性。这种修改可以涉及:改变区域的颜色;从视频流的帧中移除区域的至少一些部分;将一个或更多个新对象包括在基于修改请求的区域中;以及将区域或对象的元素进行修改或变形。在各种实施方式中,可以使用这样的修改的任何组合或其他类似修改。对于某些要被动画化的模型,可以选择一些特征点作为控制点,以用于确定用于模型动画的选项的整个状态空间。
在使用面部检测来变换图像数据的计算机动画模型的一些示例中,使用特定面部检测算法(例如,Viola-Jones)在图像上检测面部。然后,将主动形状模型(ASM)算法应用于图像的面部区域以检测面部特征参考点。
在其他示例中,可以使用其他适合面部检测的方法和算法。例如,在一些实施方式中,使用界标来定位特征,该界标表示在所考虑的大多数图像中存在的可区分点。例如,对于面部界标,可以使用左眼瞳孔的位置。如果初始界标不可识别(例如,如果人有眼罩),则可以使用次级界标。这样的界标识别过程可以用于任何这样的对象。在一些示例中,一组界标形成形状。可以使用形状中的点的坐标将形状表示为矢量。一个形状利用相似转换(允许平移、缩放和旋转)与另一个形状对准,该相似转换使形状点之间的平均欧几里德距离最小化。平均形状是对准的训练形状的均值。
在一些示例中,从与由全局面部检测器确定的面部的位置和大小对准的平均形状开始搜索界标。然后,这样的搜索重复以下步骤:通过每个点周围的图像纹理的模板匹配来调整形状点的定位而建议暂定形状,并且然后使暂定形状符合全局形状模型,直至发生收敛。在某些系统中,个别的模板匹配是不可靠的,形状模型将弱模板匹配的结果进行池化,以形成更强的整体分类器。整个搜索从粗略分辨率到精细分辨率在图像金字塔的每个级别上重复。
变换系统可以在客户端设备(例如,客户端设备102)上捕获图像或视频流,并在客户端设备102上本地执行复杂的图像操纵,同时保持适当的用户体验、计算时间和功耗。复杂的图像操纵可以包括大小和形状变化、情绪转换(例如,将面部从皱眉变为微笑)、状态转换(例如,使对象变老、减少表观年龄、改变性别)、风格转换、图形元素应用,以及由已经被配置成在客户端设备102上高效执行的卷积神经网络实现的任何其他合适的图像或视频操纵。
在一些示例实施方式中,用于变换图像数据的计算机动画模型可以由系统使用,在该系统中,用户可以使用具有神经网络的客户端设备102来捕获用户的图像或视频流(例如,自拍),该神经网络操作为在客户端设备102上操作的消息收发客户端104的一部分。在消息收发客户端104内操作的变换系统确定图像或视频流中的面部的存在并且提供与计算机动画模型相关联的修改图标以变换图像数据,或者计算机动画模型可以被呈现为与本文中描述的接口相关联。修改图标包括以下变化,该变化可以是作为修改操作的一部分的修改图像或视频流中的用户面部的基础。一旦选择了修改图标,则变换系统发起将用户的图像转换以反映所选择的修改图标(例如,在用户上生成笑脸)的处理。一旦图像或视频流被捕获并且指定的修改被选择,则修改的图像或视频流就可以呈现在客户端设备102上显示的图形用户接口中。变换系统可以在图像或视频流的一部分上实现复杂的卷积神经网络,以生成和应用所选择的修改。也就是说,一旦选择了修改图标,用户就可以捕获图像或视频流并且实时或近乎实时地呈现修改结果。此外,当正在捕获视频流时,修改可以是持久的,并且所选择的修改图标保持被切换。机器教导的神经网络可以用于实现这样的修改。
呈现由变换系统执行的修改的图形用户接口可以为用户提供附加的交互选项。这样的选项可以基于用于发起特定计算机动画模型的选择和内容捕获的接口(例如,从内容创建者用户接口发起)。在各种实施方式中,修改可以在对修改图标的初始选择之后是持久的。用户可以通过轻击或以其他方式选择正由变换系统修改的面部来打开或关闭修改,并将其存储以供以后查看或浏览到成像应用的其他区域。在由转换系统修改多个面部的情况下,用户可以通过敲击或选择在图形用户接口内修改和显示的单个面部来全局打开或关闭修改。在一些实施方式中,可以通过敲击或选择图形用户接口内显示的单独面部或一系列单独面部来单独修改一组多个面部中的各个面部,或者单独切换这样的修改。
故事表312存储关于消息和相关联的图像、视频或音频数据的集合的数据,所述消息和相关联的图像、视频或音频数据被汇编成集合(例如,故事或图库)。特定集合的创建可以由特定用户(例如,其记录保存在实体表304中的每个用户)发起。用户可以以已经由该用户创建和发送/广播的内容集合的形式创建“个人故事”。为此,消息收发客户端104的用户接口可以包括用户可选择的图标,以使得发送用户能够将特定内容添加到他或她的个人故事。
集合还可以构成作为来自多个用户的内容集合的“实况故事”,该内容集合是手动地、自动地或者使用手动技术和自动技术的组合创建的。例如,“实况故事”可以构成来自不同位置和事件的用户提交的内容的策展流。其客户端设备启用了定位服务并且在特定时间处于共同定位事件处的用户可以例如经由消息收发客户端104的用户接口被呈现有将内容贡献给特定实况故事的选项。可以由消息收发客户端104基于用户的定位向他或她标识实况故事。最终结果是从群体角度讲述的“实况故事”。
另外类型的内容集合被称为“定位故事”,该“定位故事”使其客户端设备102位于特定地理定位内(例如,在学院或大学校园)的用户能够对特定集合做出贡献。在一些示例中,对定位故事的贡献可能需要二级认证来验证终端用户属于特定组织或其他实体(例如,是大学校园中的学生)。
如上面提到的,视频表314存储视频数据,在一个示例中,该视频数据与其记录保存在消息表302内的消息相关联。类似地,图像表316存储与其消息数据存储在实体表304中的的消息相关联的图像数据。实体表304可以使来自增强表310的各种增强与存储在图像表316和视频表314中的各种图像和视频相关联。
参照图9,数据库120还可以在趋势表318中存储经处理内容部件916、度量数据库918、用户数据库920、聚合数据库926和趋势936。
数据通信架构
图4是示出根据一些示例的消息400的结构的示意图,消息400由消息收发客户端104生成,以用于传送至另外的消息收发客户端104或消息收发服务器114。特定消息400的内容用于填充存储在数据库120中的消息表302,该消息表302可由消息收发服务器114访问。类似地,消息400的内容作为客户端设备102或应用服务器112的“传输中”(“in-transit”)或“飞行中”(“in-flight”)数据存储在存储器中。消息400被示为包括以下示例组成部分:
消息标识符402:识别消息400的唯一标识符。消息文本有效载荷404:要由用户经由客户端设备102的用户接口生成并且被包括在消息400中的文本。
消息图像有效载荷406:由客户端设备102的摄像装置部件捕获或从客户端设备102的存储器部件检索并且被包括在消息400中的图像数据。发送或接收的消息400的图像数据可以存储在图像表316中。
消息视频有效载荷408:由摄像装置部件捕获或从客户端设备102的存储器部件检索并且被包括在消息400中的视频数据。发送或接收的消息400的视频数据可以存储在视频表314中。
消息音频有效载荷410:由麦克风捕获或从客户端设备102的存储器部件检索并且被包括在消息400中的音频数据。
消息增强数据412:表示要应用于消息400的消息图像有效载荷406、消息视频有效载荷408或消息音频有效载荷410的增强的增强数据(例如,过滤器、标贴或其他注释或增强)。发送或接收的消息400的增强数据可以存储在增强表310中。
消息持续时间参数414:参数值,其指示消息的内容(例如,消息图像有效载荷406、消息视频有效载荷408、消息音频有效载荷410)将经由消息收发客户端104被呈现给用户或使其对于用户可访问的以秒为单位的时间量。
消息地理定位参数416:与消息的内容有效载荷相关联的地理定位数据(例如,纬度和经度坐标)。多个消息地理定位参数416值可以被包括在有效载荷中,这些参数值中的每个参数值与内容中所包括的内容项(例如,消息图像有效载荷406内的特定图像或消息视频有效载荷408中的特定视频)相关联。
消息故事标识符418:标识与消息400的消息图像有效载荷406中的特定内容项相关联的一个或更多个内容集合(例如,故事表312中标识的“故事”)的标识符值。例如,可以使用标识符值将消息图像有效载荷406内的多个图像各自与多个内容集合相关联。
消息标签420:每个消息400可以用多个标签来标记,多个标签中的每个标签指示消息有效载荷中所包括的内容的主题。例如,在消息图像有效载荷406中包括的特定图像描绘动物(例如,狮子)的情况下,可以在消息标签420内包括指示相关动物的标签值。标签值可以基于用户输入手动地生成,或可以使用例如图像识别自动地生成。
消息发送者标识符422:指示在其上生成消息400并且从其发送消息400的客户端设备102的用户的标识符(例如消息收发系统标识符、电子邮件地址或设备标识符)。
消息接收者标识符424:指示消息400定址到的客户端设备102的用户的标识符(例如消息收发系统标识符、电子邮件地址或设备标识符)。
消息400的各个组成部分的内容(例如,值)可以是指向其内存储有内容数据值的表中的位置的指针。例如,消息图像有效载荷406中的图像值可以是指向图像表316内的位置的指针(或地址)。类似地,消息视频有效载荷408内的值可以指向存储在视频表314内的数据,存储在消息增强412内的值可以指向存储在增强表310中的数据,存储在消息故事标识符418内的值可以指向存储在故事表312中的数据,并且存储在消息发送者标识符422和消息接收者标识符424内的值可以指向存储在实体表304内的用户记录。
尽管所描述的流程图可以将操作示出为顺序处理,但是操作中的许多操作可以并行或同时执行。另外,可以重新安排操作的顺序。当其操作完成时,处理终止。处理可以对应于方法、过程、算法等。方法的操作可以全部或部分执行,可以与其他方法中的一些或所有操作结合执行,并且可以通过任何数目的不同系统例如本文描述的系统或者其任何部分例如包括在任何系统中的处理器执行。
基于时间的访问限制架构
图5是示出访问限制过程500的示意图,根据该访问限制过程,对内容(例如,短暂消息502和相关联的数据的多媒体有效载荷)或内容集合(例如,短暂消息组504)的访问可以是时间受限的(例如,使得是短暂的)。
短暂消息502被示为与消息持续时间参数506相关联,消息持续时间参数506的值确定消息收发客户端104将向短暂消息502的接收用户显示短暂消息502的时间量。在一个示例中,取决于发送用户使用消息持续时间参数506指定的时间量,接收用户可查看短暂消息502达到最多10秒。
消息持续时间参数506和消息接收者标识符424被示出为消息定时器512的输入,消息定时器512负责确定向由消息接收者标识符424标识的特定接收用户示出短暂消息502的时间量。特别地,仅在由消息持续时间参数506的值确定的时间段内向相关接收用户示出短暂消息502。消息定时器512被示出为向更一般化的短暂定时器系统202提供输出,该短暂定时器系统202负责向接收用户显示内容(例如,短暂消息502)的总体定时。
图5中示出的短暂消息502被包括在短暂消息组504(例如,个人故事或事件故事中的消息的集合)内。短暂消息组504具有相关联的组持续时间参数508,组持续时间参数508的值确定短暂消息组504被呈现并可由消息收发系统100的用户访问的持续时间。例如,组持续时间参数508可以是音乐会的持续时间,其中,短暂消息组504是涉及该音乐会的内容的集合。替选地,当执行短暂消息组504的设置和创建时,用户(拥有用户或策展者用户)可以指定组持续时间参数508的值。
另外,短暂消息组504内的每个短暂消息502具有相关联的组参与参数510,组参与参数510的值确定在短暂消息组504的上下文内将可可访问短暂消息502的持续时间。因此,在短暂消息组504本身根据组持续时间参数508到期之前,特定的短暂消息组504可以“到期”并且在短暂消息组504的上下文中变得不可访问。组持续时间参数508、组参与参数510和消息接收者标识符424各自向组定时器514提供输入,组定时器514可操作地首先确定短暂消息组504的特定短暂消息502是否将被显示给特定接收用户,并且如果是,则确定显示多长时间。注意,由于消息接收者标识符424,短暂消息组504也知道特定接收用户的身份。
因此,组定时器514可操作地控制相关联的短暂消息组504以及包括在短暂消息组504中的单独的短暂消息502的总使用期限。在一个实施方式中,短暂消息组504内的每个短暂消息502在由组持续时间参数508指定的时间段内保持可查看和可访问。在另一示例中,在短暂消息组504的上下文内,某个短暂消息502可以基于组参与参数510而到期。注意,即使在短暂消息组504的上下文内,消息持续时间参数506也仍然可以确定向接收用户显示特定短暂消息502的持续时间。因此,消息持续时间参数506确定向接收用户显示特定短暂消息502的持续时间,而不管接收用户是在短暂消息组504的上下文之内还是之外查看该短暂消息502。
短暂定时器系统202还可以基于确定特定的短暂消息502已经超过相关联的组参与参数510而从短暂消息组504中可操作地移除该特定的短暂消息502。例如,当发送用户已经建立了从发布起24小时的组参与参数510时,短暂定时器系统202将在指定的二十四小时之后从短暂消息组504中移除相关的短暂消息502。短暂定时器系统202还进行操作以当针对短暂消息组504内的每个短暂消息502的组参与参数510已到期时,或者当短暂消息组504本身根据组持续时间参数508已到期时,移除短暂消息组504。
在某些使用情况下,特定短暂消息组504的创建者可以指定无期限的组持续时间参数508。在这种情况下,针对短暂消息组504内最后剩余的短暂消息502的组参与参数510的到期将确定短暂消息组504本身何时到期。在这种情况下,添加至短暂消息组504的具有新的组参与参数510的新的短暂消息502有效地将短暂消息组504的寿命延长到等于组参与参数510的值。
响应于短暂定时器系统202确定短暂消息组504已经到期(例如,不再是可访问的),短暂定时器系统202与消息收发系统100(并且例如特别是消息收发客户端104)通信,以使得与相关短暂消息组504相关联的标记(例如,图标)不再显示在消息收发客户端104的用户接口内。类似地,当短暂定时器系统202确定针对特定短暂消息502的消息持续时间参数506已到期时,短暂定时器系统202使消息收发客户端104不再显示与短暂消息502相关联的标记(例如,图标或文本标识)。
机器架构
图6是机器600的图解表示,在该机器600内可以执行用于使机器600执行本文所讨论的方法中的任何一个或更多个方法的指令608(例如,软件、程序、应用、小程序、app或其他可执行代码)。例如,指令608可以使机器600执行本文所描述的方法中的任何一种或更多种。指令608将通用的未经编程的机器600转换成特定机器600,该特定机器600被编程为以所描述的方式执行所描述和所示出的功能。机器600可以作为独立设备操作或者可以耦接(例如,联网)到其他机器。在网络部署中,机器600可以在服务器-客户端网络环境中以服务器机器或客户端机器的身份操作,或者在对等(或分布式)网络环境中作为对等机器操作。机器600可以包括但不限于:服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如,智能手表)、智能家居设备(例如,智能电器)、其他智能设备、web装置、网络路由器、网络交换机、网络桥接器或者能够顺序地或以其他方式执行指定要由机器600采取的动作的指令608的任何机器。此外,虽然仅示出了单个机器600,但是术语“机器”还应被认为包括单独地或联合地执行指令1100以执行本文中讨论的任何一种或更多种方法的机器的集合。例如,机器600可以包括客户端设备102或者形成消息收发服务器系统108的一部分的若干个服务器设备中的任何一个。在一些示例中,机器600还可以包括客户端系统和服务器系统二者,其中在服务器侧执行特定方法或算法的某些操作,并且在客户端侧执行特定方法或算法的某些操作。
机器600可以包括可以被配置成经由总线640彼此通信的处理器602、存储器604和输入/输出(I/O)部件638。根据一些实施方式,处理器602可以被称为计算机处理器。在示例中,处理器602(例如,中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)、另外的处理器或其任何合适的组合)可以包括例如执行指令608的处理器606和处理器610。术语“处理器”旨在包括多核处理器,该多核处理器可以包括可以同时执行指令的两个或更多个独立的处理器(有时被称为“核”)。尽管图6示出了多个处理器602,但是机器600可以包括具有单个核的单个处理器、具有多个核的单个处理器(例如,多核处理器)、具有单个核的多个处理器、具有多个核的多个处理器或其任何组合。
存储器604包括主存储器612、静态存储器614和存储单元616,二者可由处理器602经由总线640访问。主存储器604、静态存储器614和存储单元616存储实现本文中所描述的方法或功能中的任何一个或更多个方法或功能的指令608。指令608还可以在其被机器600执行期间完全地或部分地驻留在主存储器612内、在静态存储器614内、在存储单元616内的机器可读介质618内、在处理器602中的至少一个处理器内(例如,在处理器的高速缓存存储器内)、或其任何合适的组合。
I/O部件638可以包括接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量等的各种各样的部件。包括在特定机器中的具体I/O部件638将取决于机器的类型。例如,便携式机器诸如移动电话可以包括触摸输入设备或其他这样的输入机构,而无头服务器机器将不太可能包括这样的触摸输入设备。应当理解的是,I/O部件638可以包括图6中未示出的许多其他部件。在各种示例中,I/O部件638可以包括用户输出部件624和用户输入部件626。用户输出部件624可以包括视觉部件(例如,诸如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT)的显示器)、声学部件(例如,扬声器)、触觉部件(例如,振动马达、阻力机构)、其他信号生成器等。用户输入部件626可以包括字母数字输入部件(例如,键盘、被配置成接收字母数字输入的触摸屏、光电键盘或其他字母数字输入部件)、基于点的输入部件(例如,鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向仪器)、触觉输入部件(例如,物理按钮、提供触摸或触摸手势的位置和力的触摸屏、或其他触觉输入部件)、音频输入部件(例如,麦克风)等。
在其他示例中,I/O部件638可以包括生物识别部件628、运动部件630、环境部件632、或位置部件634以及各种其他部件。例如,生物识别部件628包括用于检测表达(例如,手表达、面部表情、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如,血压、心率、体温、出汗或脑波)、识别人(例如,声音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件。运动部件630包括加速度传感器部件(例如,加速度计)、重力传感器部件、旋转传感器部件(例如,陀螺仪)。
环境部件632包括例如:一个或更多个摄像装置(具有静止图像/照片和视频能力)、照明传感器部件(例如,光度计)、温度传感器部件(例如,检测环境温度的一个或更多个温度计)、湿度传感器部件、压力传感器部件(例如,气压计)、声学传感器部件(例如,检测背景噪声的一个或更多个麦克风)、接近传感器部件(例如,检测附近对象的红外传感器)、气体传感器(例如,为了安全而检测危险气体的浓度或者测量大气中的污染物的气体检测传感器)、或者可以提供与周围物理环境对应的指示、测量或信号的其他部件。
关于摄像装置,客户端设备102可以具有摄像装置系统,该摄像装置系统包括例如客户端设备102的前表面上的前置摄像装置和客户端设备102的后表面上的后置摄像装置。前置摄像装置可以例如用于捕获客户端设备102的用户的静止图像和视频(例如,“自拍”),然后可以用上述增强数据(例如,过滤器)对该静止图像和视频进行增强。例如,后置摄像装置可以用于以更传统的摄像装置模式捕获静止图像和视频,这些图像类似地使用增强数据进行增强。除了前置和后置摄像装置之外,客户端设备102还可以包括用于捕获360°照片和视频的360°摄像装置。
此外,客户端设备102的摄像装置系统可以包括双后置摄像装置(例如,主摄像装置以及深度感测摄像装置),或者甚至在客户端设备102的前后侧上包括三重、四重或五重后置摄像装置配置。例如,这些多摄像装置系统可以包括广角摄像装置、超广角摄像装置、长焦摄像装置、微距摄像装置和深度传感器。
位置部件634包括定位传感器部件(例如,GPS接收器部件)、海拔传感器部件(例如,检测可以得到海拔的气压的高度计或气压计)、取向传感器部件(例如,磁力计)等。
可以使用各种各样的技术来实现通信。I/O部件638还包括通信部件636,通信部件636可操作以经由相应的耦接或连接将机器600耦接至网络620或设备622。例如,通信部件636可以包括网络接口部件或另一合适的设备以与网络620对接。在另外的示例中,通信部件636可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(NFC)部件、
Figure BDA0003905239630000211
部件(例如,
Figure BDA0003905239630000213
低功耗)、
Figure BDA0003905239630000212
部件以及经由其他模态提供通信的其他通信部件。设备622可以是另一机器或各种外围设备中的任何外围设备(例如,经由USB耦接的外围设备)。
此外,通信部件636可以检测标识符或包括可操作以检测标识符的部件。例如,通信部件636可以包括射频识别(RFID)标签读取器部件、NFC智能标签检测部件、光学读取器部件(例如,用于检测诸如通用产品代码(UPC)条形码的一维条形码、诸如快速反应(QR)码、Aztec码、数据矩阵、数据符号(Dataglyph)、最大码(MaxiCode)、PDF417、超码(UltraCode)、UCC RSS-2D条形码的多维条形码和其他光学码的光学传感器)或声学检测部件(例如,用于识别标记的音频信号的麦克风)。另外,可以经由通信部件636得出各种信息,例如经由因特网协议(IP)地理定位得出的定位、经由
Figure BDA0003905239630000221
信号三角测量得出的定位、经由检测可以指示特定定位的NFC信标信号得出的定位等。
各种存储器(例如,主存储器612、静态存储器614以及处理器602的存储器)以及存储单元616可以存储由本文中描述的方法或功能中的任何一个或更多个实施或使用的一组或更多组指令和数据结构(例如,软件)。这些指令(例如,指令608)在由处理器602执行时使各种操作实现所公开的示例。
可以经由网络接口设备(例如,通信部件636中包括的网络接口部件),使用传输介质并且使用若干公知的传输协议中的任意一种传输协议(例如,超文本传输协议(HTTP)),通过网络620来发送或接收指令608。类似地,可以使用传输介质经由与设备622的耦接(例如,对等耦接)来发送或接收指令608。
软件架构
图7是示出软件架构704的框图700,该软件架构704可以安装在本文所描述的任何一个或更多个设备上。软件架构704由硬件例如包括处理器720、存储器726和I/O部件738的机器702支持。在该示例中,可以将软件架构704概念化为层的堆栈,在该层的堆栈中,每个层提供特定的功能。软件架构704包括如下层,例如操作系统712、库710、框架708和应用706。在操作上,应用706通过软件堆栈来激活API调用750并响应于API调用750来接收消息752。
操作系统712管理硬件资源并提供公共服务。操作系统712包括例如核714、服务716和驱动器722。核714充当硬件层与其他软件层之间的抽象层。例如,核714提供存储器管理、处理器管理(例如,调度)、部件管理、联网和安全设置以及其他功能。服务716可以为其他软件层提供其他公共服务。驱动器722负责控制底层硬件或与底层硬件对接。例如,驱动器722可以包括显示驱动器、摄像装置驱动器、
Figure BDA0003905239630000222
Figure BDA0003905239630000224
低能量驱动器、闪存驱动器、串行通信驱动器(例如,USB驱动器)、
Figure BDA0003905239630000223
驱动器、音频驱动器、电力管理驱动器等。
库710提供由应用706使用的公共低级基础设施。库710可以包括系统库718(例如,C标准库),系统库718提供诸如存储器分配功能、字符串操纵功能、数学功能等的功能。此外,库710可以包括API库724,例如媒体库(例如,用于支持各种媒体格式的呈现和操作的库,所述各种媒体格式例如运动图像专家组-4(MPEG4)、高级视频编码(H.264或AVC)、运动图像专家组层-3(MP3)、高级音频编码(AAC)、自适应多速率(AMR)音频编解码器、联合图像专家组(JPEG或JPG)或便携式网络图形(PNG))、图形库(例如,用于在显示器上的图形内容中以二维(2D)和三维(3D)进行呈现的OpenGL框架)、数据库库(例如,提供各种关系数据库功能的SQLite)、web库(例如,提供web浏览功能的WebKit)等。库710还可以包括多种其他库728,以向应用706提供许多其他API。
框架708提供由应用706使用的公共高级基础设施。例如,框架708提供各种图形用户接口(GUI)功能、高级资源管理和高级定位服务。框架708可以提供可由应用706使用的广泛的其他API,其中的一些API可以专用于特定的操作系统或平台。
在示例中,应用706可以包括家庭应用736、联系人应用730、浏览器应用732、书籍阅读器应用734、趋势应用741、定位应用742、媒体应用744、消息收发应用746、游戏应用748和诸如第三方应用740的种类繁多的其他应用。趋势应用741可以是与结合图9和本文中公开的那样相同或类似的。应用706是执行程序中定义的功能的程序。可以使用各种编程语言来创建以各种方式构造的应用706中的一个或更多个,所述编程语言例如面向对象的编程语言(例如,Objective-C、Java或C++)或过程编程语言(例如,C或汇编语言)。在特定示例中,第三方应用740(例如,由特定平台的供应商以外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用)可以是在诸如IOSTM、ANDROIDTM
Figure BDA0003905239630000231
Phone的移动操作系统或其他移动操作系统上运行的移动软件。在该示例中,第三方应用740可以激活由操作系统712提供的API调用750以有助于本文中描述的功能。
处理部件
现在转至图8,示出了处理环境800的图解表示,其包括处理器802、处理器806和处理器808(例如,GPU、CPU或其组合)。处理器802被示出为耦接至电源804,并且包括(永久配置的或临时实例化的)模块,即制作内容部件810、数据过滤和聚合部件812以及趋势分析部件814。参照图9,产品内容部件810可操作地生成经处理内容部件916、度量数据库918和用户数据库920;数据过滤和聚合部件812可操作地生成聚合数据库926;并且,趋势分析部件814可操作地生成趋势936。如所示的,处理器802通信地耦接至处理器806和处理器808两者。
趋势系统
图9示出了根据一些实施方式的用于确定趋势的系统900。在图9中示出的是内容902、用户904、制作906、消费908、修改提取模块910、内容消费度量提取模块912、用户元数据收集模块914、经处理内容部件916、度量数据库918、用户数据库920、数据过滤和聚合系统922、聚合数据库926、计算统计模块930、趋势分析模块932、相关分析模块934、趋势936、时间窗口938、流行度940、热情度942、话题944、词汇954、制作内容模块946、制作修改模块948、制作营销和销售报告模块950、确定外部事件模块952和推荐内容模块956。
系统900分析来自内容902、用户904、制作906和消费908的数据以生成趋势936,该趋势936可以被制作内容模块946、制作修改模块948、制作营销和销售报告模块950、确定外部事件模块952和/或推荐内容模块956使用。
趋势936包括话题944、时间窗口938、热情度942、流行度940和词汇954。当系统900确定话题944和/或词汇954受用户欢迎940或用户对其有热情942(该确定是相对于其他话题944和/或词汇954作出的)时,话题944和/或词汇954是趋势936。根据一些实施方式,该词汇954是n-gram。
根据一些实施方式,该n-gram是n个词。示例n-gram包括“王室婚礼”、“超级星期二”、“阿凡达”、“迈克尔·乔丹”等。根据一些实施方式,n-gram是根据内容902确定的。n-gram可以是来自文本或语音的给定样本的n个项的连续序列。例如,这些项可以是音素、音节、字母、单词或基对(base pair)。话题944是诸如大流行病、篮球、计算机游戏、电缆电视等一类词汇954。话题944可以具有多于一个词汇954,每个词汇都具有流行度940和热情度942。例如,话题944可以是具有诸如“迈克尔·乔丹”、“前八强”等的多个词汇954的“篮球”。在一些实施方式中,话题944包括针对话题944的单独的热情度942和/或流行度940。在一些实施方式中,趋势936是针对词汇954而没有话题944。流行度940基于观看频率和制作频率。热情度942基于对与关于词汇954的内容902的交互的量度,例如由用户904对内容902的平均观看时间。
趋势936可以指示用户904的兴趣、模因(meme)、俚语等,这些可以用于改善消息收发系统100内的内容902和/或用户904体验。修改提取模块910是结合图13公开的。内容消费度量提取模块912是结合图16公开的。用户元数据收集模块914是结合图17公开的。数据过滤和聚合系统922是结合图18公开的。计算统计模块930、趋势分析模块932和相关分析模块934是结合图19公开的。制作内容模块946、制作修改模块948、制作营销和销售报告模块950、确定外部事件模块952以及推荐内容模块956是结合图24公开的。
图10示出了根据一些实施方式的用户904。用户904可以包括简档1002、年龄1004、性别1006、年龄组1008、城市1010、语言1012、国家1014、设备属性1016、内容制作1018、制作的内容1020、内容消费度量1022、消费的内容1024、观看时间1026和搜索1028。
年龄1004是用户904的年龄或年龄范围。性别1006是用户904的性别的指示。年龄组1008是用户904的诸如18至24岁等的年龄组的指示。城市1010是用户904居住、工作或与之相关联的城市的指示。语言1012是由用户904在消息收发系统100内使用的人类自然语言的指示。国家1014是与用户904相关联的诸如用户904居住的国家1014的国家的指示。设备属性1016是用户904使用的一个或更多个设备——包括用户904用来访问消息收发系统100的设备——的属性。内容制作1018是关于用户904已制作906的内容902的数据。该数据可以包括所制作的内容1020的指示,该指示可以包括由用户904使用的修改、所制作的内容1020的话题944、所制作的内容的词汇954、所制作的内容1020被发送给哪些其他用户904、是否使所制作的内容1020公开、所制作的内容1020是否是短暂消息的一部分等。
内容消费度量1022包括关于由用户904消费908的内容的数据。内容消费度量1022可以包括所消费的内容1024的指示和观看该内容的时间1026。数据可以包括用户904与所消费的内容1024的交互,例如用户904是否对内容902作出反应、多次观看内容902、喜欢内容902等。搜索1028指示由用户904已执行的搜索1028。在一些实施方式中,可以存在一个或更多个字段中的多于一个字段,例如,城市1010、语言1012等。
图11示出了根据一些实施方式的内容902。内容902可以包括内容相关项1102、话题1104、媒体类型1106、图像1108、视频1110、主题1112、题注1114、词汇1116、标贴1118、视觉标签1120和修改1122。话题1104可以是被确定为与内容902有关的话题。话题1104、主题1112和词汇1116可以由内容902的制作者1124选择,或者它可以由系统900确定。媒体类型1106指示内容902的媒体类型。媒体类型1106包括图像1108、视频1110等。题注1114是已添加至内容902的一个或更多个题注。标贴1118是可以被添加至内容902的修改项。视觉标签1120是已由系统900确定的对象的名称。在一些实施方式中,内容902的制作者1124可以向内容902中的对象赋予视觉标签1120。修改1122指示由增强系统206提供的已添加至内容902的一个或更多个修改项。制作者1124是内容902的制作者。制作者1124可以是用户904、系统900或消息收发系统100的另一系统。例如,在一些实施方式中,外部新闻故事由消息收发系统100生成并作为内容902可用。内容相关的项1102可以包括附加的项,例如,已消费了内容902的用户904的指示。在一些实施方式中,可以存在一个或更多个字段中的多于一个字段,例如话题1104、词汇1116等。
图12示出了根据一些实施方式的度量数据库918。度量数据库918包括消费的内容1204、话题1206、媒体类型1208、图像1210、视频1212、用户1214、平均观看时间1216、截屏1218、观看次数1220、搜索日志1222、观看日期1224、观看时间1226、分享次数1228、词汇1230。可以存在由内容消费度量提取模块912用来生成度量数据库918的其他度量。可以根据图16的纲要(schema)1626来组织度量数据库918。消费的内容1204是内容902的指示。话题1206是图9的消费的内容1204被归类为的话题944。在一些实施方式中,话题1206可以与话题944相同或相似。词汇1230可以与词汇954相同或相似。媒体类型1208指示消费的内容1204的媒体类型,例如图像1210、视频1212、搜索日志等。用户1214指示消费了消费的内容1204的一个或更多个用户904。平均观看时间1216指示用户1214观看消费的内容1204所花费的平均时间。截屏1218指示消费的内容1204被截屏1218的次数或平均次数。观看次数1220指示对消费的内容1204的观看次数。搜索日志1222指示消费的内容1204出现在搜索中的次数和/或消费的内容1204被从搜索中选择的次数。观看日期1224指示关于消费的内容1204的统计的时间窗口938。观看时间1226指示关于由一个或更多个用户1214观看消费的内容1204的一项或更多项统计。分享次数1228指示关于由一个或更多个用户1214对消费的内容1204分享的次数的统计。将理解的是,度量数据库918可以包括关于由一个或更多个用户1214消费的内容1204的附加度量。
图13示出了根据一些实施方式的修改提取模块910。图14示出了根据一些实施方式的内容902。图15示出了根据一些实施方式的搜索1510。图13、图14和图15是彼此结合地公开的。
修改提取模块910检查搜索日志1334和内容902,并使用参数1314、已知内容部件1336、词典和文化词汇1338以及外部事件1339来生成经处理内容部件916,该经处理内容部件916可以包括题注DB1318、搜索日志DB 1320、修改DB 1322和识别的对象DB 1324。题注DB1318、搜索日志DB 1320、修改DB 1322和识别的对象DB 1324是用包括日期1328、词汇1330、频数1332、类型1335的纲要1326组织的。词汇1330是一个或更多个词。频数1332是词汇1330被使用的次数的指示。日期1328可以指示日期范围或时间窗口,例如秒、多秒时段、分钟、小时、多小时时段、日、多日时段、周、多周时段、月、多月时段、年或多年时段。频数1332可以划分为诸如1至1000、1000至10000等类别。类型1335指示内容902的类型,例如图像、视频等。
在图14中示出的是显示在移动设备1402上的内容902。该内容902是具有修改的图像1404,所述修改例如标贴1406A、1406B和1406C、题注1408A和1408B以及歌曲1410。对象1412A、1412B、1412C和1412D是图像1404的一部分,并且由对象检测模块1308检测。可以使用其他的修改。对象1412A是人或面部,并且可以指示性别。对象1412B是耳环。对象1412C是毛衣。在一些实施方式中,修改可以是由消息收发服务器系统108添加的修改,并以使得修改能够被修改提取模块910从图像1404识别的方式存储。例如,内容902可以已由增强系统206生成,作为图4中所示的消息400的一部分。增强系统206可以使得用户能够向图像1404添加诸如音频和视觉内容以及视觉和声音效果的媒体覆盖,其可以存储在修改表310中。
图15中示出的是移动设备1506的屏幕1504,该屏幕1504具有使得用户904能够输入搜索的搜索框1502。如所示的,搜索1510的结果被显示为划分为具有内容902A和902B的类别1 1508A和具有内容902C的类别2 1508B。
返回至图13,已知内容部件1336可以是修改、词汇1330、图像1404、对象1412等。词典和文化词汇1338是词汇的词典、从词汇到情感的情感映射、诸如电视节目等的文化词汇等。参数1314包括由修改提取模块910使用的参数。N-Gram 1316是词汇1330中的词数目。交互百分比1340是用于利用相同词汇1330进行的搜索的百分比的阈值,该相同词汇1330导致用户与作为搜索结果的一部分的内容902A、902B和902C交互。在一些实施方式中,n-gram1316中的词数目是固定的或具有范围,例如1至9个词。在一些实施方式中,n-gram 1316由NLP模块1310、机器学习模块1312或其他模块来学习。搜索日志1334是由消息收发服务器系统108的用户904执行的搜索1510(例如,搜索1510)的日志,并且可以包括搜索结果和用户904从搜索结果中做出的选择的指示。外部事件1339包括新闻故事等。外部事件1339可以通过机器学习模块1312或NLP模块1310处理,以确定外部事件1339的n-gram 1316。例如,不是数千个关于冠状病毒的新闻故事,而是可以根据诸如“冠状病毒”、“大流行病”、“国家紧急情况”等的新闻故事确定词汇1330。
题注提取模块1302从内容902中提取诸如题注1408A、1408B的题注并将其存储在题注DB 1318中。题注提取模块1302可以基于增强表310中的已知内容部件来确定题注。题注提取模块1302可以使用自然语言处理(NLP)模块1310从内容902中提取文本,并确定题注的要使用的词汇1330。题注提取模块1302仅使用出现最少次数的n-gram,该最少次数可以是动态阈值或用户输入的阈值。例如,诸如“工作太多”(“Too much work”)的题注可能是仅使用十次的3-gram,而频数1332的阈值可能是100次。基于这些数,题注“工作太多”将不会被输入到题注DB 1318中。NLP模块1310用来理解题注的语言。例如,NLP模块1310可以确定题注的情感,这可以成为纲要1326的一部分。例如,纲要1326可以包括情感字段。情感可以包括快乐、满怀希望、情况好转等。在另一示例中,NLP模块1310基于将题注与词典和文化词汇1338进行比较,检测出像电影、计算机游戏和电视连续剧等的实体,该词典和文化词汇1338可以包括电视连续剧、名人、当前事件、国家、城市、餐馆、理发风格等。在另一示例中,NLP模块1310可以从题注中提取表情符号,并将其作为词汇1330。在一些实施方式中,NLP模块1310将相关词汇聚在一起,并将同义词合并为一个或更多个词汇1330。根据一些实施方式,词典和文化词汇1338包括同义词词典。题注提取模块1302被配置成识别话题标签。根据一些实施方式,词典和文化词汇1338包括话题标签。该词汇1330可以是话题标签。
在一些实施方式中,NLP模块1310和/或机器学习模块1312从搜索日志1334和内容902搜索指示关于已知内容部件1336(例如,电影名称或游戏名称)的搜索日志1334和/或内容902的短语和/或句子。示例句子是“我正在看复仇者联盟”。词汇1330将是“复仇者联盟”。在一些实施方式中,NLP模块1310和/或机器学习模块1312基于句子或短语的一部分在句子或短语中的位置来确定句子或短语的该部分是指趋势。例如,如果在搜索日志1332中重复发现“复仇者联盟”,但在已知内容部件1336中没有发现,则NLP模块1310和/或机器学习模块1312可以确定“复仇者联盟”是可能正形成趋势的新词汇1330。在另一示例中,NLP模块1310和/或机器学习模块1312基于上下文来确定内容902的类型。例如,“我喜欢玩Worldend”可以基于动词“玩”指示“worldend”是游戏。
在一些实施方式中,NLP模块1310和/或机器学习模块1312使用逐点互信息(Pointwise Mutual Information)对候选词汇1330进行分类以确定词汇1330的类型。例如,如果“复仇者联盟”出现在似乎针对电影的一些内容902和搜索日志1334中以及出现在似乎针对游戏的其他内容902和搜索日志1334中,则NLP模块1310和/或机器学习模块1312可以使用逐点互信息来确定哪个类别更可能用于特定内容902参考。可以生成两个词汇1330,一个针对电影,一个针对游戏。
搜索日志提取模块1304可以使用NLP模块1310来在搜索日志1334中搜索词汇1330。根据一些实施方式,搜索日志提取模块1304将搜索日志DB 1320的生成建立在n-gram1316的基础上。例如,搜索日志提取模块1304可以使用n-gram 1316的预定值,例如1-gram至9-gram。在另一示例中,搜索日志提取模块1304可以使用机器学习模块1312和/或NLP模块1310来确定用于确定词汇1330的n-gram 1316大小。在一些实施方式中,将诸如三词语词汇的短搜索词汇与具有类似前缀的其他搜索词汇聚合在一起。搜索日志提取模块1304通过使用可以包括在词典和文化词汇1338中的常用的对工作不安全“NSFW”搜索词汇的词典来过滤掉NSFW内容。在一些实施方式中,搜索日志提取模块1304过滤掉其中与来自搜索项的搜索结果交互的用户导致小于用户与来自搜索结果的内容902A、902B、902C交互的交互百分比1340的搜索词汇。在一些实施方式中,搜索日志提取模块1304过滤掉被确定为用户相关的搜索项,例如用户名。根据一些实施方式,搜索日志提取模块1304被配置成识别话题标签。
修改搜索日志提取模块1306使用内容902、参数1314、已知内容部件1336和外部事件1339中的一个或更多个来生成修改DB 1322。在一些实施方式中,修改搜索日志提取模块1306识别针对具有诸如标贴1406A、1406B、1406C的已知修改数据的内容902的搜索。在一些实施方式中,标贴1406A、1406B、1406C具有名称或描述,例如心形、星星、音符、击掌等。在一些实施方式中,将诸如三个字母的短标贴搜索项与具有类似前缀的其他标贴搜索聚在一起并用作修改DB 1322的词汇1330。修改搜索日志提取模块1306可以使用n-gram 1316的预定值,例如1-gram至9-gram。在另一示例中,修改搜索日志提取模块1306可以使用机器学习模块1312和/或NLP模块1310来确定用于确定词汇1330的n-gram 1316的大小。修改搜索日志提取模块1306可以使用已知内容部件1336来是识别词汇1330,例如修改数据。在一些实施方式中,搜索1510可以包括诸如标贴的修改数据的指示。修改搜索日志提取模块1306可以使用修改数据来确定搜索日志1334的哪些搜索包括修改数据。可以将词汇1330识别为修改数据。在一些实施方式中,搜索1510可以包括修改数据,例如标贴。这样的搜索1510的意义是找到包括标贴的内容902。词汇1330可以指示标贴或其他修改数据。
对象检测模块1308使用内容902、参数1314、已知内容部件1336、词典和文化词汇以及外部事件1339中的一个或更多个来生成识别对象DB 1324。对象检测模块1308使用机器学习模块1312来检测对象,例如对象1412A、1412B和1412C。根据一些实施方式,机器学习模块1312被使用深度学习进行训练,以检测图像1404或视频中的对象,并且可以将视觉标签分配给对象。然后,对象检测模块1308可以使用NLP模块1310以基于n-gram 1316和由机器学习模块1312赋予对象的视觉标签来确定用于对象的词汇1330。例如,对象1412A可以被分类为人和女人。可以存在近似的年龄或年龄范围估计。对象1412B被确定为耳环,并且可以被确定为女人的装束的一部分。对象1412C被确定为女人的服饰和毛衣。对象1412D可以是未示出的背景,并且可以是指示该女人在家中的背景。在一些实施方式中,机器学习模块1312生成具有针对图像1404中检测到的对象的抽象级别的分类法。例如,人可以处于层次结构的第二级处,并且女人处于层次结构的第三级处。服饰可以处于层次结构的第二级处,并且毛衣处于层次结构的第三级处。层次结构可以包括针对人的预定纲要,并且帮助确定用于对象的词汇1330或确定用于内容902的新词汇1330。
图16示出了根据一些实施方式的内容消费度量提取模块912。内容消费度量提取模块912使用来自用户904、内容902、制作906和消费908中的一个或更多个的统计来生成度量数据库918。度量数据库918是根据纲要1626组织的。纲要1626可以包括日期1628、内容1630、度量类型1632和度量值1634。日期1628可以与图13的日期1328相同或相似。内容1630可以是内容902的指示。度量类型1632包括结合图12公开的一个或更多个字段。度量值1634是对应度量类型1632的值。
图17示出了根据一些实施方式的用户元数据收集模块914。用户元数据收集模块914使用来自用户904的信息来生成用户数据库920,其中用户数据库920捕获关于用户904的信息。在一些实施方式中,用户数据库920保护了用户904的隐私。与用户相关联的一些数据在纲要1700中被过滤掉或不被使用。例如,为了保护用户904的隐私,在纲要1700中不使用用户名、地址、帐户标识符等。用户元数据收集模块914可以基于消费908和制作906来确定用户904与内容902的交互次数。
在一些实施方式中,只有用户904与内容902交互达诸如1次或5次的阈值次数,该用户904才被添加至用户数据库920。用户元数据收集模块914基于日期1702将用户904与内容1704的交互的频数1714聚合,其中该聚合是基于以下中的一个或更多个:年龄组1706、性别1708、国家1710、州1712和/或城市1713。该日期1702与日期1328相同或相似。
图18示出了根据一些实施方式的数据过滤和聚合系统922。数据过滤和聚合系统922采纳用户数据库920、度量数据库918和经处理内容部件916,并且生成具有纲要1800的聚合数据库926。数据过滤和聚合系统922过滤掉与内容1804的低用户频数1820。数据过滤和聚合系统922识别具有高用户频数1820和/或内容频数1812的内容1804,并且针对该内容1804生成纲要1800。数据过滤和聚合系统922使用在一个示例实施方式中的最小最大方法来归一化(normalize)来自用户数据库920、度量数据库918和经处理内容部件916的数据。数据过滤和聚合系统922用特征缩放法对数据进行归一化,使得每个用户的图9的每个话题944的参加程度不能直接访问。
纲要1800包括以下中的一个或更多个:日期1802、内容1804、年龄组1806、性别1808、分类器1810、内容频数1812、国家1814、州1816、城市1818、用户频数1820、标记1822、消费度量1824以及词汇1826。纲要1800可以包括附加字段,例如语言。分类器1810指示内容1804的类型,例如视频、图像、政治话题、健康故事、流行文化话题等。分类器1810与图13的类型1335相同或相似。日期1802可以与图13的日期1328相同或相似。
在一些实施方式中,数据过滤和聚合系统922在生成聚合数据库926之后删除用户数据库920、度量数据库918和/或经处理内容部件916中的一个或更多个。数据过滤和聚合系统922可以删除数据库中的一个或更多个以保护用户904的隐私。
修改提取模块910确定词汇1330。内容消费度量提取模块912确定词汇1230。词汇1826可以是词汇1230和/或词汇1330中的一个或两个,或者可以是由数据过滤和聚合系统922确定的新词汇。系统900可以使用其他模块来确定词汇1230、词汇1330和/或词汇1826。
图19示出了根据一些实施方式的趋势分析模块932和相关分析模块934。趋势分析模块932被配置成基于聚合数据库926、计算统计模块930的输出和相关分析模块934的输出来生成趋势936。
图20示出了根据一些实施方式的趋势分析模块932的操作的示例2000。图21示出了根据一些实施方式的文本和视觉内容的趋势分析的方法2100。图22示出了根据一些实施方式的趋势分析模块932的操作。图19至图22是彼此结合地公开的。
词汇954可以与聚合数据库926的词汇1826相同,或者趋势分析模块932可以确定词汇954的新值。系统900可以使用其他模块来确定词汇954。
在一些实施方式中,度量类型1632和度量值1634由趋势分析模块932用于确定流行度和热情度。例如,趋势分析模块932被配置成使用本文公开的一个或更多个等式来确定流行度或热情度。等式(1):W={w(1),w(2),…,w(n)},其中,W是权重的矢量,并且w(n)是第n个权重。等式(2):M={m(1),m(2),…,m(n)},M是内容的度量的矢量,并且m(n)是第n个度量。第n个度量具有度量类型1632和度量值1634。等式(3):评分=w(1)*m(1)+w(2)*m(2)…+w(n)*m(n),其中,评分可以对应于时间窗口938和话题944的词汇954的流行度940或热情度942。
权重W可以根据针对等式(3)的评分是否期望热情度或流行度而改变。在一些实施方式中,权重W是预先确定的。在一些实施方式中,权重W可以由用户输入。在一些实施方式中,权重W是由ML模块确定的。例如,机器学习模块1904可以使用过去的数据,过去的数据包括被识别为流行度940的内容902的指示和用户对其具有热情度的内容902的指示。机器学习模块1904可以学习哪些权重W对于确定流行度940的评分和热情度942的评分最相关。机器学习模块1904可以使用神经网络、诸如逻辑回归的回归类型或另一种学习技术来学习用于使用等式(1)确定流行度940的评分的权重W,并且学习用于使用等式(1)确定评分的权重W,以确定热情度942的评分。
在图20的示例中,时间2004从左到右进行,并且T等于2018年5月19日的日期的“王室婚礼”的话题944或词汇954,2018年是元素2006。方法2100开始于操作2102处,确定在第一个日期的n-gram趋势的概率。例如,参照示出了2-gram题注示例2002的图20,使用等式(4)确定P(T)2020。
等式(4):P(T)=(频数+常数)/(日总频数+常数),其中,频数是T在内容中的频数,日总频数是所有内容的频数,并且常数是可以由机器学习模块1904确定或预先确定的常数。
使用等式(4)和图20的示例,对于P(T 2014)2020,频数(元素2030)=300,常数(元素2008)=10,并且日总频数(元素2032)=2,000。将这些数字应用于等式(4)提供了P(T)=(300+10)/(2,000+10),其等于0.1542。
方法2100在操作2104处继续以确定先前日期窗口的概率。P(T'2012)2018是先前的日期窗口,其中此处的窗口是一日。再次,使用等式(4)和图20的示例,对于T(W')2018,频数(元素2026)=150,常数(元素2008)=10,并且日总频数(元素2028)=1,950。将这些数字应用于等式(4)提供了P(T')=(150+10)/(1,950+10),其等于0.0816。在方法2100中,日期可以是指日期的范围。
方法2100在操作2108处继续以确定季节性模式。例如,P(T"2010)2016是5月12日,这是在5月19日之前的一个星期。在该示例中,时间窗口是七天。在一些实施方式中,使用不同的时间窗口,并比较使用不同时间窗口的结果。再次,对于P(T")2016,使用等式(4)和图20的示例,频数(元素2022)=100,常数(元素2008)=10,并且日总频数(元素2024)=1,900。将这些数字应用于等式(4)提供了P(T")=(100+10)/(1,900+10),其等于0.0576。
方法2100在操作2110处继续以确定Δ(T)。根据一些实施方式,可以使用等式(5)来确定Δ(T)。等式(5):Δ(T)=P(T)/Max(P(T'),P(T")),其中,Max指示两个数的最大值。将等式(5)应用于图20的示例提供了Δ(T)=0.1542/Max(0.0816,0.0576);因此,Δ(T)=1.89。
方法2100在操作2112处继续以确定Δ(T)是否大于阈值。在一些实施方式中,阈值1902等于一。Δ(T)等于1.89,其大于一,所以方法2100指示趋势是增长的2116。如果Δ(W)小于阈值1902,则方法2100将指示趋势是下降的2114。
趋势936包括话题944,该话题944包括时间窗口938、热情度942、流行度940和词汇954。时间窗口938可以确定考虑趋势936的时间窗口。如本文所公开的,一些示例时间窗口938包括每小时、每天、每周、每月等。如本文所公开的,话题944可以是诸如体育、流行文化、电影、博客等的话题。词汇954可以是如本文所公开的n-gram,例如n-gram1316。流行度940和热情度942可以如结合方法2100所公开的和如本文用等式(1至3)所公开的或结合图22所公开的那样来确定。
在一些实施方式中,除了下降和增长之外,还可以将热情度942和/或流行度940进一步分类。例如,当T在先前时间窗口期间已经趋向于更高并且Δ(T)的值在该时间窗口中增加时,可以将流行度940或热情度942分类为长期增长。在另一示例中,可以基于从一个时间窗口938到下一个时间窗口938的增加而将流行度940或热情度942分类为发展中的趋势,其中阈值1902可以在1以下,使得可以识别正在缓慢增长的趋势936。在另一示例中,当Δ(T)的值大于另一阈值1902的值例如1.5或大于1的另一数字时,可以将流行度940或热情度942分类为尖峰趋势。
在一些实施方式中,方法2100包括确定题注是否包括n-gram的操作。例如,检查聚合数据库926的内容1804以确定该内容1804是否包括诸如“王室婚礼”的n-gram。此外,方法2100可以包括:排除不包括内容1804项——包括n-gram的——的至少阈值1902的n-gram,其中阈值1902是诸如30、40、50或更大的数字。在一些实施方式中,用于排除n-gram的阈值1902可以是动态的。例如,可以基于确定最高百分比的趋势936的或最高数量的趋势936来确定阈值1902。等式(4)可以被修改成包括由用户参与内容902的时间。
方法2100的一个或更多个操作可以是可选的。方法2100可以包括一个或更多个附加的操作。根据一些实施方式,可以以不同的顺序执行方法2100的操作。
在图22中示出的是绘制日期2202的趋势变量(TV)值2216的曲线图2200,其中针对关于内容902的参与来确定TV 2204,内容902具有“弹劾”(“impeachment”)的话题944的视觉标签。TV值2216可以是针对话题944而不是词汇954。正常值(normal)2214被确定为TV2204的正常值(normal)。在一些实施方式中,正常值2214是所有内容902的TV的平均值。在一些实施方式中,正常值2214是关于视觉标签的内容902的TV的平均值。将理解的是,正常值2214可以以其他方式确定。正二标准偏差(SDS)2218是距离正常值2214的两个标准偏差。负二SDS 2220是距离正常值2214的负两个标准偏差。
图例2206指示TV 2204的类别为假2210或真2212。假2210指示TV 2204小于负二SDS 2220或大于正二SDS 2218。真2212指示TV2204不小于负二SDS 2220或大于正二SDS2218。根据一些实施方式,由等式(4)来确定TV 2204的值。在一些实施方式中,趋势分析模块932被配置成使用具有最小二乘法的线性回归来拟合TV 2204的值的线。然后,趋势分析模块932基于时间窗口的当前值和TV 2204的过去值来确定TV 2204是否是趋势936。
在一些实施方式中,趋势分析模块932被配置成使用动量或趋势动量来确定TV2204的值是否指示TV 2204的词汇954应该被选择为趋势936。在一些实施方式中,趋势分析模块932被配置成确定趋势936的每个TV 2204的平均值和标准偏差。在一些实施方式中,趋势分析模块932被配置成将所有TV 2204的共同范围确定为平均值(TV)-标准偏差(TV)<TV<平均值(TV)+标准偏差(TV)。以这种方式,趋势分析模块932可以基于平均值(TV)和标准偏差(TV)来确定具有TV 2204的词汇954是否应该成为趋势936。例如,如果TV>平均值(TV)+2*标准差(TV),则该词汇954可以被确定为适用的时间窗口938的趋势936。此外,如果TV<平均值(TV)-2*标准差(TV),则词汇954可以被确定为不是适用的时间窗口938的趋势936。
在一些实施方式中,趋势分析模块932和/或相关分析模块934修改等式(4)以调整来适应外部事件。例如,等式(6)=P(T)=((频数+常数)*(外部事件/标称外部事件))/(日总频数+常数),其中,频数是T在内容中的频数,日总频数是所有内容的频数,常数是可以由机器学习模块确定的或预先确定的常数,外部事件是基于可以基于外部事件的重要性进行加权的外部事件的数量的数字,并且标称外部事件是指示外部事件的平均或正常数量的数字。例如,如图22和图23中所示,可以存在图22的事件2208或图23的事件A 2310、事件B2312和事件C2314。当外部事件大于标称外部事件时,等式(6)的P(T)将增大等式(6)的分子,而当外部事件小于标称外部事件时,等式(6)的P(T)将减小等式(6)的分子。作为示例,可以预期诸如夏天的词汇954可以在冬季故事期间比在夏季期间具有较低的频数。在一些实施方式中,等式(6)可以被修改以添加项来指示外部事件将正面影响词汇954或话题944还是负面影响词汇954或话题944。
例如,等式(7)=P(T)=((频数+常数)*(外部事件负相关/标称外部事件负相关)*((标称外部事件正相关/外部事件正相关)/(日总频数+常数),其中,频数是T在内容中的频数,日总频数是所有内容的频数,常数是可以由机器学习模块确定的或预先确定的常数,外部事件正相关是可能增大频数的外部事件,标称外部事件正相关是可能增大频数的事件,外部事件负相关是可能减小频数的外部事件,并且标称外部事件负相关是可能减小频数的事件。
相关分析模块934可以确定内容1804是否出现在内容1804的多于一个部分中。例如,图14的题注1408A、1408B可以包括与对象1412A、1412B、1412C、1412D、歌曲1410或标贴1406A、1406B、1406C相同的n-gram。相关分析模块934可以通过向趋势分析模块932指示内容1804可能来自相同的内容902来指示这一点。趋势分析模块932基于该相关来调整频数等式(4至7)的值。例如,趋势分析模块932、计算统计模块930和/或相关分析模块934可以增大或减小图18中的源自相同内容902的内容1804的频数值。例如,具有情人节心形和传达“情人节快乐”的题注的内容902的频数可以对于该频数计数为多于两个。在另一示例中,具有100个情人节心形和“情人节快乐”的题注的内容902的频数减少了100个情人节心形的频数,以不会对内容902的仅一个项进行过多地计数。
在一些实施方式中,相关分析模块934将来自内容902或搜索日志1334的两个或更多个项进行相关并确定n-gram。例如,如果n-gram是活动,则被识别为与该活动相关联的对象可以用于确定n-gram是该活动。例如,如果对象被确定为马并且另一个对象是人,则相关分析模块934可以确定骑马的n-gram。在一些实施方式中,相关分析模块934可以基于已知内容部件1336来确定n-gram。例如,内容902可以包括“庆祝啤酒日”的啤酒、啤酒杯、葡萄酒、葡萄酒杯等的图像。相关分析模块934可以确定啤酒的图像的n-gram是n-gram“庆祝啤酒日”的一部分。
图23示出了根据一些实施方式的用户对话题的参与和关于该话题的记录的数量的示例2300。示例2300中存在两个曲线图,其中时间2302沿横轴,内容观看次数2304沿第一曲线图的纵轴,并且记录2306沿第二曲线图的纵轴。话题2308是“产品X”。内容观看次数2304指示具有“产品X”的话题944的内容902的观看次数。记录2306指示具有关于“产品X”的内容902的事件的数量。根据一些实施方式,事件可以是外部事件1339的一部分。在一些实施方式中,事件由修改提取模块910、相关分析模块和/或趋势分析模块932识别。事件A2310、事件B 2312和事件C 2314是包括在由用户制作906的内容902中的示例事件。相关分析模块934可以将图18中的关于话题944的事件的内容1804与关于话题944的内容1804分组。以这种方式,等式(4)将在确定频数时考虑两种类型的内容1804,以确定是否选择话题944作为趋势936。
图24示出了根据一些实施方式的新内容2404、新修改2406、报告2408、外部事件2410和推荐2412的生成。制作内容模块946采纳趋势936并生成新内容2404。例如,制作内容模块946可以基于话题944未被充分表示来生成图9的内容902。在一些实施方式中,图19的趋势分析模块932基于话题944指示存在关于话题944的许多外部事件例如新闻报道发生并且内容902的量在阈值1902水平以下,确定未被充分表示的趋势936。在一些实施方式中,制作内容模块946被配置成生成提供有用的正确新闻报道的内容902。在一些实施方式中,制作内容模块946向人类内容创建者发送指示为哪些话题944生成内容902的报告。推荐内容模块956可以向消息收发系统的用户提供推荐2412,或基于趋势936显示内容902。推荐2412可以是关于趋势936的内容902。推荐2412用于为用户推荐话题或词汇以生成内容902。推荐内容模块956可以基于内容902对所有用户多受欢迎来选择作为趋势936的一部分的内容902。推荐内容模块956可以基于用户在过去偏好哪些用户来为用户选择内容902。
制作修改模块948被配置成采纳趋势936并生成新的修改2406。例如,制作修改模块948可以基于作为趋势936的话题944来生成新的标贴、题注和/或歌曲。制作修改模块948可以生成作为词汇954或n-gram的题注或标贴。在一些实施方式中,制作修改模块948可以从可用于生成新修改2406的图像数据库中寻找图像,并且寻找与词汇954或话题944匹配的图像,并将词汇954与该图像放在一起。
确定外部事件模块952被配置成采纳趋势936并生成外部事件2410。例如,确定外部事件模块952可以基于“冠状病毒”的话题944是具有诸如“国家紧急情况”、“就地避难”等多个词汇954的趋势936来确定存在大流行病。在一些实施方式中,确定外部事件模块952可以将外部事件2410添加到外部事件1339。在一些实施方式中,确定外部事件模块952可以生成可能外部事件模块952,该外部事件模块952被人类审查以识别可能外部事件模块952中的哪些是实际的外部事件模块952。
制作营销和销售报告模块950被配置成采纳趋势936并生成报告2408。图25示出了根据一些实施方式的示例报告2500。报告2500指示沿水平轴的时间2502。趋势性话题2504示出了两个话题944:具有曲线图2516的股票市场2513和具有曲线图2518的骑马2514。报告2500还包括九个趋势性词汇2506。趋势性词汇2506中的一个具有为4的编号2508、“迪斯尼帐户”的词汇2510以及指示该词汇2510的随着时间的频数的度量的曲线图2512。根据一些实施方式,编号2508指示该词汇954的流行度940。制作营销和销售报告模块950被配置成采纳趋势936并生成报告2500。报告2500可以用于将广告定向到用户904,并证明广告费率的合理性。
图26示出了根据一些实施方式的示例报告2600。图26中示出的是美国地图2602、指示观看关于弹劾的内容的平均时间(小时)2606的图例2604。美国地图2602可以用于确定不同地理区域的人的不同兴趣。制作营销和销售报告模块950被配置成采纳趋势936并生成报告2600。制作营销和销售报告模块950被配置成基于聚合数据库926和趋势936的一个或更多个字段来生成附加的报告2408。
图27示出了根据一些实施方式的用于文本和视觉内容的趋势分析的方法2700。该方法2700开始于操作2702,其中根据内容项提取修改。在一些实施方式中,操作2702包括:根据从与用户相关联的客户端设备接收到的内容项提取修改,内容项被使用包括文本题注或媒体覆盖的的修改来修改。例如,图13的修改提取模块910从内容902中提取修改内容,例如,参照图14,提取题注1408A、1408B以及标贴1406A、1406B、1406C。
方法2700在操作2704处继续以从内容项确定一个或更多个词。在一些实施方式中,操作2704包括:根据内容项和所提取的修改,来确定一个或更多个词。例如,参照图13,修改提取模块910可以确定词汇1330。在另一示例中,参照图16,内容消费度量提取模块912可以将图12的词汇1230为度量类型1632。在另一示例中,参照图19,趋势分析模块932可以确定词汇954。
方法2700在操作2706处继续以确定频数。在一些实施方式中,操作2706包括:确定一个或更多个词在内容项和所提取的修改中的频数。例如,数据过滤和聚合系统922可以确定内容频数1812、用户频数1820以及消费度量1824。在另一示例中,如结合图9和图19所公开的,趋势分析模块932、计算统计模块930和相关分析模块934可以确定聚合数据库926中的修改内容和内容中n-gram的频数。
方法2700在操作2708处继续,以确定该一个或更多个词是否是趋势。在一些实施方式中,操作2708包括:基于频数和聚合频数来确定该一个或更多个词是否是趋势。例如,参照图19,趋势分析模块932、计算统计模块930和相关分析模块934可以确定词汇954是否是趋势936。
方法2700在操作2710处继续,以响应于一个或更多个词被确定为趋势,生成趋势内容。在一些实施方式中,操作2710包括:响应于一个或更多个词被确定为趋势,生成与该一个或更多个词相关联的趋势内容,该趋势内容是文本、图像或增强内容。例如,如结合图9和图24所公开的,制作内容模块946可以制作新的内容2404。在另一示例中,如结合图9和图24所公开的,制作修改模块948可以制作新的修改2406。
方法2700可以可选地包括:识别内容项内的对象;向对象分配文本标记;以及确定一个或更多个词在内容项、所提取的修改和文本标记中的频数。例如,对象检测模块1308可以识别内容902中的对象,并向对象分配词汇1330。数据过滤和聚合系统922可以确定n-gram的频数包括分配给对象的词汇1330。
方法2700可以可选地包括:根据来自内容项的两个或更多个文本标记,确定一个或更多个词,其中,该一个或更多个词与两个或更多个文本标记不同。例如,如结合图13公开的,对象检测模块1308可以基于与文本标记的关联将词汇1330分配给两个或更多个对象,其中文本标记例如为被分配词汇1330骑马的人和马。
该方法2700可选地包括:其中,一个或更多个词指示活动,并且其中,两个或更多个文本标记指示与该活动相关联的对象。例如,如结合图19公开的,如果对象在内容902中被确定为与该活动相关联,相关分析模块934可以确定活动的n-gram,例如人和马可以用于推断该n-gram是骑马。
方法2700可选地包括:确定用户中的每个用户花费的与内容项相关联的平均时间量,其中,确定一个或更多个词是否是趋势还基于每个用户花费的与内容项相关联的平均时间量。例如,如结合图12和图16公开的,内容消费指标提取模块912可以确定每个用户观看包括n-gram的内容所花费的平均时间量,作为度量类型1632。此外,如结合图19公开的,趋势分析模块932可以使用聚合数据库926来确定词汇954是否是趋势936。
方法2700可选地包括:基于每个用户花费的与关联于一个或更多个词的内容项相关联的平均时间量和每个用户的与所有内容项相关联的平均时间量来确定一个或更多个词的热情度值。例如,如结合图19公开的,趋势分析模块932可以使用等式(4)来确定词汇954或n-gram的热情度值。
方法2700可选地包括:确定一个或更多个词在内容项中、所提取的修改中和搜索日志中的频数,搜索日志是在消息收发系统中从客户端设备接收到的搜索查询的保存记录。例如,参照图13,修改提取模块910基于搜索日志1334生成搜索日志DB 1320,并且参照图19,趋势分析模块932可以确定词汇954或n-gram是否是趋势936。
方法2700可选地包括:其中一个或更多个词是n-gram,并且其中,一个或更多个词是一至七个词。例如,如结合图13公开的,n-gram 1316可以是一至七个词。
方法2700可选地包括:响应于一个或更多个词被确定为趋势,生成指示该趋势的报告,并使该报告由客户端设备显示。例如,如结合图24公开的,制作营销和销售报告模块950可以生成诸如报告2500的报告2408。
方法2700可选地包括:还基于阈值来确定一个或更多个词是否为趋势,该阈值基于频数与聚合频数的比率。例如,如结合图21公开的,方法2100可以由趋势分析模块932用于确定n-gram或词汇954是否是趋势936。
方法2700可选地包括:其中还基于搜索日志来确定频数和聚合频数,搜索日志是在消息收发系统中从客户端设备接收到的搜索查询的保存记录。例如,参照图19,趋势分析模块932可以使用聚合数据库926来确定频数和聚合频数,并且图13的修改搜索日志提取模块1306可以生成搜索日志DB 1320,该搜索日志DB 1320通过图18的数据过滤和聚合系统922被包括在聚合数据库926中。
方法2700可以可选地包括:其中,频数是第一频数,聚合频数是第一聚合频数,内容项是第一内容项,修改是第一修改,所提取的修改是第一提取修改,并且第一频数是针对第一时间窗口确定的,并且其中,该方法还包括:响应于一个或更多个词被确定为趋势,根据从与用户相关联的客户端设备接收到的第二内容项提取第二修改,第二内容项被使用包括文本题注或媒体覆盖的第二修改来修改,其中,在第二时间窗口中生成该第二内容项,在第一时间窗口中生成该第一内容项;确定一个或更多个词在第二内容项和第二提取修改中的第二频数;确定第二聚合频数;将第一频数和第一聚合频数之间的关系与第二频数和第二聚合频数之间的关系进行比较;如果第二频数与第二聚合频数之间的关系大于第一频数与第一聚合频数之间的关系,则确定该趋势为下降趋势;如果第二频数与第二聚合频数之间的关系小于第一频数和第一聚合频数之间的关系,则确定该趋势为上升趋势;以及如果与第一频数和第一聚合频数之间的关系相比,第二频数和第二聚合频数之间的关系小于第二阈值,则确定该趋势为尖峰趋势。例如,如结合图20公开的,趋势分析模块932可以执行图21的方法2100。
方法2700可以可选地包括:其中时间窗口是预定数量的秒、分钟、小时、日、周、月或年。例如,如结合图19公开的,时间窗口938可以具有这些不同的预定范围。
方法2700可以可选地包括:其中内容项包括发送至消息收发系统的一个或更多个其他用户的消息。例如,如结合图9所公开的,内容902可以是消息或短暂消息。
方法2700可以可选地包括:根据已知内容部件来确定候选的一个或更多个词,其中,已知内容部件包括电影的名称和计算机游戏的名称;以及基于候选的一个或更多个词并根据内容项和所提取的修改来确定一个或更多个词。例如,修改提取模块910可以根据已知内容部件1336确定n-gram,并且可以使用已知内容部件1336来根据由对象检测模块1308分配给对象的标记来确定n-gram。
方法2700可以可选地包括:基于外部事件的数量来调整确定的频数的值。例如,趋势分析模块932可以使用等式(6)或等式(7)来调整如结合图19公开的确定的频数。
方法2700可以可选地包括:其中当外部事件与一个或更多个词具有负相关时,确定的频数增大,并且当外部事件与一个或更多个词具有正相关时,确定的频数减小。例如,趋势分析模块932可以使用等式(6)来调整如结合图19公开的确定的频数。
方法2700可以可选地包括一个或更多个附加的操作。方法2700的操作可以以不同的顺序来执行。方法2700的一个或更多个操作可以是可选的。
术语表
“载波信号”是指能够存储、编码或携载由机器执行的指令的任何无形介质并且包括数字或模拟通信信号或其他无形介质以便于这些指令的通信。可以经由网络接口设备使用传输介质在网络上发送或接收指令。
“客户端设备”是指与通信网络对接以从一个或更多个服务器系统或其他客户端设备获得资源的任何机器。客户端设备可以是但不限于移动电话、桌上型计算机、膝上型计算机、便携式数字助理(PDA)、智能电话、平板计算机、超级本、上网本、膝上型计算机、多处理器系统、基于微处理器或可编程消费电子产品、游戏控制台、机顶盒或用户可以用于访问网络的任何其他通信设备。
“通信网络”是指网络的一个或更多个部分,该网络可以是自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、
Figure BDA0003905239630000431
网络、其他类型的网络或者两个或更多个这样的网络的组合。例如,网络或网络的一部分可以包括无线网络或蜂窝网络,并且耦接可以是码分多址(CDMA)连接、全局移动通信系统(GSM)连接或其他类型的蜂窝或无线耦接。在该示例中,耦接可以实现各种类型的数据传输技术中的任何数据传输技术,例如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线电服务(GPRS)技术、增强数据速率的GSM演进(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动电信系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准设置组织定义的其他数据传输技术、其他长距离协议或其他数据传输技术。
“部件”是指具有以下边界的设备、物理实体或逻辑,该边界由功能或子例程调用、分支点、API或者对特定处理或控制功能提供分区或模块化的其他技术定义。部件可以经由它们的接口与其他部件组合以执行机器处理。部件可以是被设计用于与其他部件一起使用的封装功能硬件单元以及通常执行相关功能的特定功能的程序的一部分。部件可以构成软件部件(例如,在机器可读介质上实施的代码)或硬件部件。“硬件部件”是能够执行某些操作的有形单元,并且可以以某种物理方式来配置或布置。在各种示例实施方式中,可以通过软件(例如,应用或应用部分)将一个或更多个计算机系统(例如,独立计算机系统、客户端计算机系统或服务器计算机系统)或计算机系统的一个或更多个硬件部件(例如,处理器或处理器组)配置成进行操作以执行本文中描述的某些操作的硬件部件。也可以机械地、电子地或其任何合适的组合来实现硬件部件。例如,硬件部件可以包括被永久地配置成执行某些操作的专用电路系统或逻辑。硬件部件可以是例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)的专用处理器。硬件部件还可以包括通过软件被临时配置成执行某些操作的可编程逻辑或电路系统。例如,硬件部件可以包括由通用处理器或其他可编程处理器执行的软件。一旦通过这样的软件被配置,则硬件部件成为特定的机器(或机器的特定部件),该特定的机器(或机器的特定部件)被唯一地定制成执行配置的功能并且不再是通用处理器。将理解,可以出于成本和时间考虑来决定机械地、在专用且永久配置的电路中还是在临时配置(例如,由软件配置)的电路中实现硬件部件。因此,短语“硬件部件”(或“硬件实现的部件”)应当被理解成涵盖有形实体,即被物理构造、永久配置(例如,硬连线)或临时配置(例如,编程)成以某种方式操作或者执行本文中所描述的某些操作的实体。考虑硬件部件被临时配置(例如,被编程)的实施方式,无需在任一时刻对硬件部件中的每一个进行配置或实例化。例如,在硬件部件包括通过软件配置而成为专用处理器的通用处理器的情况下,通用处理器可以在不同时间处被配置成分别不同的专用处理器(例如,包括不同的硬件部件)。软件相应地配置特定处理器或处理器,以例如在一个时刻处构成特定硬件部件并且在不同的时刻处构成不同的硬件部件。硬件部件可以向其他硬件部件提供信息并且从其他硬件部件接收信息。因此,所描述的硬件部件可以被认为是通信上耦接的。在同时存在多个硬件部件的情况下,可以通过在两个或更多个硬件部件之间或之中(例如,通过适当的电路和总线)的信号传输来实现通信。在其中多个硬件部件在不同时间处被配置或被实例化的实施方式中,可以例如通过将信息存储在多个硬件部件可以访问的存储器结构中并且在该存储器结构中检索信息来实现这样的硬件部件之间的通信。例如,一个硬件部件可以执行操作,并且将该操作的输出存储在通信上耦接的存储器装置中。然后,另外的硬件部件可以在随后的时间处访问存储器装置,以检索和处理所存储的输出。硬件部件还可以发起与输入装置或输出装置的通信,并且可以对资源进行操作(例如,信息的集合)。在本文中描述的示例方法的各种操作可以至少部分地由临时地配置(例如,由软件)或永久地配置成执行相关操作的一个或更多个处理器来执行。无论是临时配置还是永久配置,这样的处理器可以构成进行操作以执行本文描述的一个或更多个操作或功能的处理器实现的部件。如本文中使用的,“处理器实现的部件”是指使用一个或更多个处理器实现的硬件部件。类似地,本文中描述的方法可以至少部分地由处理器实现,其中特定的一个或更多个处理器是硬件的示例。例如,方法的至少一些操作可以由一个或更多个处理器602或处理器实现的部件来执行。此外,所述一个或更多个处理器还可以操作成支持“云计算”环境中的相关操作的执行或者操作为“软件即服务”(SaaS)。例如,操作中的至少一些操作可以由计算机组(作为包括处理器的机器的示例)执行,其中,这些操作能够经由网络(例如,因特网)并且经由一个或更多个适当的接口(例如,API)进行访问。某些操作的执行可以分布在处理器之间,不仅仅驻留在单个机器内,而是可以被部署在若干机器上。在一些示例实施方式中,处理器或处理器实现的部件可以位于单个地理定位中(例如,在家庭环境、办公室环境或服务器群内)。在其他示例实施方式中,处理器或处理器实现的部件可以跨若干地理定位分布。
“计算机可读存储介质”是指机器存储介质和传输介质两者。因此,这些术语包括存储设备/介质和载波/调制数据信号两者。术语“机器可读介质”、“计算机可读介质”和“设备可读介质”意指相同的事物,并且可以在本公开内容中可互换地使用。多个“计算机可读介质”可以被称为“计算机可读介质”。
“短暂消息”是指在时间有限的持续时间内可访问的消息。短暂消息可以是文本、图像、视频等。短暂消息的访问时间可以由消息发送者设置。替选地,访问时间可以是默认设置或者由接收者指定的设置。不管设置技术如何,消息都是暂态的。
“机器存储介质”是指存储可执行指令、例程和数据的单个或多个存储设备和介质(例如,集中式或分布式数据库,以及相关联的高速缓存和服务器)。因此,该术语应被视为包括但不限于固态存储器以及光学和磁介质,包括处理器内部或外部的存储器。机器存储介质、计算机存储介质和设备存储介质的具体示例包括:非易失性存储器,包括例如半导体存储器设备,例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、FPGA和闪存设备;磁盘,诸如内部硬盘和可移动盘;磁光盘;以及CD-ROM和DVD-ROM盘。术语“机器存储介质”、“设备存储介质”、“计算机存储介质”意指相同的事物,并且在本公开内容中可以互换地使用。术语“机器存储介质”、“计算机存储介质”和“设备存储介质”明确地排除了载波、调制数据信号和其他这样的介质,所述载波、调制数据信号和其他这样的介质中的至少一些被涵盖在术语“信号介质”中。
“非暂态计算机可读存储介质”是指能够存储、编码或携载由机器执行的指令的有形介质。
“信号介质”是指能够存储、编码或携载由机器执行的指令的任何无形介质,并且包括数字或模拟通信信号或其他无形介质以有助于软件或数据的通信。术语“信号介质”应当被视为包括任何形式的调制数据信号、载波等。术语“调制数据信号”意指使其特性中的一个或更多个特性以将信息编码在信号中的方式来设置或改变的信号。术语“传输介质”和“信号介质”指相同的事物并且可以在本公开内容中互换使用。

Claims (20)

1.一种方法,包括:
根据从与用户相关联的客户端设备接收的内容项提取修改,所述内容项被使用包括文本题注或媒体覆盖的所述修改进行修改;
根据所述内容项和所提取的修改确定一个或更多个词;
确定所述一个或更多个词在所述内容项和所提取的修改中的频数;
基于所述频数和聚合频数来确定所述一个或更多个词是否为趋势;以及
响应于所述一个或更多个词被确定为趋势,
生成与所述一个或更多个词相关联的趋势内容,所述趋势内容是文本、图像或增强内容。
2.根据权利要求1所述的方法,还包括:
识别所述内容项内的对象;
向所述对象分配文本标记;以及
确定所述一个或更多个词在所述内容项、所提取的修改以及所述文本标记中的频数。
3.根据权利要求2所述的方法,还包括:
根据来自所述内容项的两个或更多个文本标记,确定所述一个或更多个词,其中,所述一个或更多个词不同于所述两个或更多个文本标记。
4.根据权利要求3所述的方法,其中,所述一个或更多个词指示活动,并且其中,所述两个或更多个文本标记指示与所述活动相关联的对象。
5.根据权利要求1所述的方法,还包括:
确定所述用户与所述内容项相关联地花费的每用户平均时间量,其中,确定所述一个或更多个词是否为趋势还基于与所述内容项相关联地花费的所述每用户平均时间量。
6.根据权利要求5所述的方法,还包括:
基于与和所述一个或更多个词相关联的所述内容项相关联地花费的所述每用户平均时间量和与所有内容项相关联的每用户平均时间量,确定所述一个或更多个词的热情度值。
7.根据权利要求1至6中任一项所述的方法,还包括:
确定所述一个或更多个词在所述内容项中、在所提取的修改中以及在搜索日志中的频数,所述搜索日志是在消息收发系统中从所述客户端设备接收的搜索查询的保存记录。
8.根据权利要求1至6中任一项所述的方法,其中,所述一个或更多个词是n-gram,并且其中,所述一个或更多个词是一至七个词。
9.根据权利要求1至6中任一项所述的方法,还包括:
响应于所述一个或更多个词被确定为所述趋势,
生成指示所述趋势的报告;以及
使所述报告由所述客户端设备显示。
10.根据权利要求1至6中任一项所述的方法,其中,
确定所述一个或更多个词是否为趋势还基于阈值,所述阈值基于所述频数与所述聚合频数的比率。
11.根据权利要求10所述的方法,其中,还基于搜索日志来确定所述频数和所述聚合频数,所述搜索日志是在消息收发系统中从客户端设备接收的搜索查询的保存记录。
12.根据权利要求10所述的方法,其中,所述频数是第一频数,所述聚合频数是第一聚合频数,所述内容项是第一内容项,所述修改是第一修改,所提取的修改是第一提取修改,并且所述第一频数是针对第一时间窗口确定的,并且其中,所述方法还包括:
响应于所述一个或更多个词被确定为所述趋势,
根据从与所述用户相关联的所述客户端设备接收的第二内容项提取第二修改,所述第二内容项被使用包括所述文本题注或所述媒体覆盖的所述第二修改进行修改,其中,在第二时间窗口中生成所述第二内容项,并且在所述第一时间窗口中生成所述第一内容项;
确定所述一个或更多个词在所述第二内容项和所第二提取修改中的第二频数;
确定第二聚合频数;
将所述第一频数和所述第一聚合频数之间的关系与所述第二频数和所述第二聚合频数之间的关系进行比较;
如果所述第二频数与所述第二聚合频数之间的关系大于所述第一频数与所述第一聚合频数之间的关系,则确定所述趋势为下降趋势;
如果所述第二频数与所述第二聚合频数之间的关系小于所述第一频数与所述第一聚合频数之间的关系,则确定所述趋势为上升趋势;以及
如果与所述第一频数和所述第一聚合频数之间的关系相比,所述第二频数与所述第二聚合频数之间的关系小于第二阈值,则确定所述趋势为尖峰趋势。
13.根据权利要求12所述的方法,其中,所述第一时间窗口是预定数目的秒、分、小时、日、周、月或年。
14.根据权利要求1至6中任一项所述的方法,其中,所述内容项包括发送至消息收发系统的一个或更多个其他用户的消息。
15.根据权利要求1至6中任一项所述的方法,还包括:
根据已知内容部件确定候选的一个或更多个词,其中,所述已知内容部件包括电影名称和计算机游戏名称;以及
基于所述候选的一个或更多个词并且根据所述内容项和所提取的修改,确定所述一个或更多个词。
16.根据权利要求1至6中任一项所述的方法,还包括:
基于外部事件的数量来调整所述频数的值。
17.根据权利要求16的方法,其中,当所述外部事件与所述一个或更多个词具有负相关时,增大所述频数,并且当所述外部事件与所述一个或更多个词具有正相关时,减小所述频数。
18.一种系统,包括:
一个或更多个计算机处理器;以及
一个或更多个计算机可读介质,其存储指令,所述指令在由所述一个或更多个计算机处理器执行时使所述系统执行包括以下的操作:
根据从与用户相关联的客户端设备接收的内容项提取修改,所述内容项被使用包括文本题注或媒体覆盖的的所述修改进行修改;
根据所述内容项和所提取的修改确定一个或更多个词;
确定所述一个或更多个词在所述内容项和所提取的修改中的频数;
基于所述频数和聚合频数,确定所述一个或更多个词是否为趋势;以及
响应于所述一个或更多个词被确定为趋势,
生成与所述一个或更多个词相关联的趋势内容,所述趋势内容是文本、图像或增强内容。
19.根据权利要求18所述的系统,其中,所述指令还使所述系统执行包括以下的操作:
识别所述内容项内的对象;
向所述对象分配文本标记;以及
确定所述一个或更多个词在所述内容项、所提取的修改以及所述文本标记中的频数。
20.一种包含指令的非暂态机器可读存储装置,所述指令在由机器执行时使所述机器执行包括以下的操作:
根据从与用户相关联的客户端设备接收的内容项提取修改,所述内容项被使用包括文本题注或媒体覆盖的所述修改进行修改;
根据所述内容项和所提取的修改确定一个或更多个词;
确定所述一个或更多个词在所述内容项和所提取的修改中的频数;
基于所述频数和聚合频数,确定所述一个或更多个词是否为趋势;以及
响应于所述一个或更多个词被确定为趋势,
生成与所述一个或更多个词相关联的趋势内容,所述趋势内容是文本、图像或增强内容。
CN202180030588.3A 2020-04-24 2021-04-16 具有内容的趋势分析的消息收发系统 Pending CN115443459A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062704163P 2020-04-24 2020-04-24
US62/704,163 2020-04-24
US16/948,582 2020-09-24
US16/948,582 US11468883B2 (en) 2020-04-24 2020-09-24 Messaging system with trend analysis of content
PCT/US2021/070398 WO2021217167A1 (en) 2020-04-24 2021-04-16 Messaging system with trend analysis of content

Publications (1)

Publication Number Publication Date
CN115443459A true CN115443459A (zh) 2022-12-06

Family

ID=78222663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180030588.3A Pending CN115443459A (zh) 2020-04-24 2021-04-16 具有内容的趋势分析的消息收发系统

Country Status (5)

Country Link
US (3) US11468883B2 (zh)
EP (1) EP4139810A1 (zh)
KR (1) KR20230003057A (zh)
CN (1) CN115443459A (zh)
WO (1) WO2021217167A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948558B2 (en) 2020-04-24 2024-04-02 Snap Inc. Messaging system with trend analysis of content

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11915354B2 (en) 2021-12-20 2024-02-27 Snap Inc. Automated GIF generation platform
US11949527B2 (en) 2022-04-25 2024-04-02 Snap Inc. Shared augmented reality experience in video chat
US12136160B2 (en) 2022-04-27 2024-11-05 Snap Inc. Augmented reality experience power usage prediction
US12124803B2 (en) * 2022-08-17 2024-10-22 Snap Inc. Text-guided sticker generation

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8271422B2 (en) * 2008-11-29 2012-09-18 At&T Intellectual Property I, Lp Systems and methods for detecting and coordinating changes in lexical items
US11093544B2 (en) * 2009-08-13 2021-08-17 TunesMap Inc. Analyzing captured sound and seeking a match for temporal and geographic presentation and navigation of linked cultural, artistic, and historic content
US11409825B2 (en) * 2009-12-18 2022-08-09 Graphika Technologies, Inc. Methods and systems for identifying markers of coordinated activity in social media movements
US8583786B2 (en) * 2011-01-21 2013-11-12 Verizon Patent And Licensing Inc. Systems and methods for rating a content based on trends
EP2678822A4 (en) * 2011-02-23 2014-09-10 Bottlenose Inc System and method for message analysis in a network or between networks
US20130085745A1 (en) * 2011-10-04 2013-04-04 Salesforce.Com, Inc. Semantic-based approach for identifying topics in a corpus of text-based items
US20130298084A1 (en) * 2012-01-27 2013-11-07 Bottlenose, Inc. Targeted advertising based on trending of aggregated personalized information streams
US8832092B2 (en) * 2012-02-17 2014-09-09 Bottlenose, Inc. Natural language processing optimized for micro content
WO2013166588A1 (en) * 2012-05-08 2013-11-14 Bitstrips Inc. System and method for adaptable avatars
US20150319203A1 (en) * 2012-05-17 2015-11-05 Leo Jeremias Computer system and methods for chat enabled online search
US10303762B2 (en) * 2013-03-15 2019-05-28 Disney Enterprises, Inc. Comprehensive safety schema for ensuring appropriateness of language in online chat
US20140297737A1 (en) * 2013-03-26 2014-10-02 International Business Machines Corporation Profiling social trendsetters
US20150046152A1 (en) * 2013-08-08 2015-02-12 Quryon, Inc. Determining concept blocks based on context
US9965462B2 (en) * 2013-08-09 2018-05-08 Tengrade, Inc. Systems and methods for identifying and recording the sentiment of a message, posting, or other online communication using an explicit sentiment identifier
US20150074131A1 (en) * 2013-09-09 2015-03-12 Mobitv, Inc. Leveraging social trends to identify relevant content
US10474747B2 (en) * 2013-12-16 2019-11-12 International Business Machines Corporation Adjusting time dependent terminology in a question and answer system
US9430495B2 (en) * 2013-12-30 2016-08-30 Facebook, Inc. Identifying entries in a location store associated with a common physical location
US20150347392A1 (en) * 2014-05-29 2015-12-03 International Business Machines Corporation Real-time filtering of massive time series sets for social media trends
US9712578B2 (en) * 2014-06-17 2017-07-18 Facebook, Inc. Determining stories of interest based on quality of unconnected content
US9575936B2 (en) * 2014-07-17 2017-02-21 Verint Systems Ltd. Word cloud display
US10878446B2 (en) * 2014-08-18 2020-12-29 Chian Chiu Li Systems and methods for obtaining and utilizing user reaction and feedback
US9818400B2 (en) * 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9575952B2 (en) * 2014-10-21 2017-02-21 At&T Intellectual Property I, L.P. Unsupervised topic modeling for short texts
WO2016082032A1 (en) * 2014-11-25 2016-06-02 Arhin Linda System and method for facilitating anonymous communication between commercial and social users
US10095686B2 (en) * 2015-04-06 2018-10-09 Adobe Systems Incorporated Trending topic extraction from social media
US10216800B2 (en) * 2015-06-18 2019-02-26 Rocket Apps, Inc. Self expiring social media
US9730016B2 (en) * 2015-07-31 2017-08-08 Google Inc. Broadcast of content data to geographic areas by devices
US20170147652A1 (en) * 2015-11-19 2017-05-25 Institute For Information Industry Search servers, end devices, and search methods for use in a distributed network
US10824660B2 (en) * 2015-11-24 2020-11-03 Adobe Inc. Segmenting topical discussion themes from user-generated posts
US10285001B2 (en) * 2016-02-26 2019-05-07 Snap Inc. Generation, curation, and presentation of media collections
US9760838B1 (en) * 2016-03-15 2017-09-12 Mattersight Corporation Trend identification and behavioral analytics system and methods
US10388274B1 (en) * 2016-03-31 2019-08-20 Amazon Technologies, Inc. Confidence checking for speech processing and query answering
US20170330292A1 (en) * 2016-05-16 2017-11-16 Adobe Systems Incorporated Correlator
WO2017205354A1 (en) * 2016-05-23 2017-11-30 Mouse Prints Press Bv Augmented content system and method
US10353972B2 (en) * 2016-05-26 2019-07-16 Rovi Guides, Inc. Systems and methods for providing timely and relevant social media updates for a person of interest in a media asset who is unknown simultaneously with the media asset
US10387514B1 (en) * 2016-06-30 2019-08-20 Snap Inc. Automated content curation and communication
US10326855B2 (en) * 2016-07-28 2019-06-18 International Business Machines Corporation Trending topic driven cache eviction management
US10218898B2 (en) * 2016-09-09 2019-02-26 International Business Machines Corporation Automated group photograph composition
US10798043B2 (en) * 2016-09-26 2020-10-06 Facebook, Inc. Indicating live videos for trending topics on online social networks
US10684738B1 (en) * 2016-11-01 2020-06-16 Target Brands, Inc. Social retail platform and system with graphical user interfaces for presenting multiple content types
US10650009B2 (en) * 2016-11-22 2020-05-12 Facebook, Inc. Generating news headlines on online social networks
US10678829B2 (en) * 2017-04-11 2020-06-09 Microsoft Technology Licensing, Llc Customized data feeds for online social networks
US10380259B2 (en) * 2017-05-22 2019-08-13 International Business Machines Corporation Deep embedding for natural language content based on semantic dependencies
US10348658B2 (en) * 2017-06-15 2019-07-09 Google Llc Suggested items for use with embedded applications in chat conversations
US10762903B1 (en) * 2017-11-07 2020-09-01 Amazon Technologies, Inc. Conversational recovery for voice user interface
US11488602B2 (en) * 2018-02-20 2022-11-01 Dropbox, Inc. Meeting transcription using custom lexicons based on document history
US10860801B2 (en) * 2018-09-12 2020-12-08 Samsung Electronics Co., Ltd. System and method for dynamic trend clustering
US10747957B2 (en) * 2018-11-13 2020-08-18 Asapp, Inc. Processing communications using a prototype classifier
US20200219294A1 (en) * 2019-01-09 2020-07-09 Google Llc Sound Actuated Augmented Reality
JP2022519208A (ja) * 2019-01-29 2022-03-22 ツイッター インコーポレイテッド ソーシャル・データ・ストリーム上におけるリアルタイム・イベント検出
US10880260B1 (en) * 2019-06-19 2020-12-29 Etherweb Technologies LLC Distributed domain name resolution and method for use of same
US11153256B2 (en) * 2019-06-20 2021-10-19 Shopify Inc. Systems and methods for recommending merchant discussion groups based on settings in an e-commerce platform
US20200402118A1 (en) * 2019-06-20 2020-12-24 Shopify Inc. Systems and methods for recommending merchant discussion groups based on merchant categories
US11677703B2 (en) * 2019-08-15 2023-06-13 Rovi Guides, Inc. Systems and methods for automatically identifying spam in social media comments based on context
US11095588B2 (en) * 2019-10-16 2021-08-17 Accenture Global Solutions Limited Social network data processing and profiling
US11468883B2 (en) 2020-04-24 2022-10-11 Snap Inc. Messaging system with trend analysis of content

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948558B2 (en) 2020-04-24 2024-04-02 Snap Inc. Messaging system with trend analysis of content

Also Published As

Publication number Publication date
WO2021217167A1 (en) 2021-10-28
US20240249717A1 (en) 2024-07-25
US20230105981A1 (en) 2023-04-06
KR20230003057A (ko) 2023-01-05
US11948558B2 (en) 2024-04-02
US20210335350A1 (en) 2021-10-28
US11468883B2 (en) 2022-10-11
EP4139810A1 (en) 2023-03-01

Similar Documents

Publication Publication Date Title
US11328008B2 (en) Query matching to media collections in a messaging system
US11948558B2 (en) Messaging system with trend analysis of content
US11676378B2 (en) Providing travel-based augmented reality content with a captured image
US12120074B2 (en) Generating and accessing video content for products
US11769500B2 (en) Augmented reality-based translation of speech in association with travel
CN115836292A (zh) 与旅行相关联的基于增强现实的翻译
US11294538B2 (en) Timeline media content navigation system
CN115812217A (zh) 用于评论的基于出行的增强现实内容
KR20210145214A (ko) 컨텍스트 미디어 필터 검색
CN117203676A (zh) 可定制的化身生成系统
US12099702B2 (en) Messaging system for resurfacing content items
CN117136404A (zh) 从歌曲中提取伴奏的神经网络
US11816906B2 (en) Messaging system for engagement analysis based on labels
US12142278B2 (en) Augmented reality-based translation of speech in association with travel
US20240046674A1 (en) Messaging system for engagement analysis based on labels
CN116710911A (zh) 基于标注的参与分析

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination