Nothing Special   »   [go: up one dir, main page]

CN114519610A - 信息预测方法以及装置 - Google Patents

信息预测方法以及装置 Download PDF

Info

Publication number
CN114519610A
CN114519610A CN202210143587.6A CN202210143587A CN114519610A CN 114519610 A CN114519610 A CN 114519610A CN 202210143587 A CN202210143587 A CN 202210143587A CN 114519610 A CN114519610 A CN 114519610A
Authority
CN
China
Prior art keywords
time sequence
information
time
prediction
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210143587.6A
Other languages
English (en)
Inventor
赵叶宇
范芳芳
方彦明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202210143587.6A priority Critical patent/CN114519610A/zh
Publication of CN114519610A publication Critical patent/CN114519610A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • G06Q30/0202Market predictions or forecasting for commercial activities

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供了信息预测方法以及装置,其中,信息预测方法包括:首先获取第一历史时间段的包括多个时间序列的历史时序信息,然后将历史时序信息输入预先训练的由多个串联的时序子模型组成的时序模型,得到各时序子模型输出的目标时间段的预测时序向量,其中,时序子模型间加入了回测机制,最后对各时序子模型输出的预测时序向量进行聚合,得到聚合结果,基于聚合结果,确定目标时间段的预测信息。同时输入多条时间序列,提升了预测的效率,同时可以捕捉时间序列之间的关联性,得到的预测信息更加精准,同时时序模型具有多个时序子模型,可以对不同场景处理,而不需要建立多个模型,节省了成本。

Description

信息预测方法以及装置
技术领域
本说明书实施例涉及人工智能技术领域,特别涉及一种信息预测方法。
背景技术
随着互联网技术的发展,线下零售业、线上电商行业、金融信贷业等行业中对未来信息的准确预测,可以指导企业、机构、个人更好地对目前的管理运营做出正确的决策,获得更大的利润和好处。
当前,主要是通过神经网络预测模型来对未来信息作出预测,但是,根据过去一段时间的历史信息,去预测未来一段时间的信息,一般只有一条历史数据,可以处理的场景有限。例如,根据某店面2021年全年每个月的销售量,去预测2022年全年每个月的销售量,因为2021年每个月的销售量是已经确定的,只存在一种数据,这样单一种类的历史数据仅能够预测未来一段时间单一的信息,预测模型存在很大局限性。因此,亟需一种针对复杂场景的信息预测方案。
发明内容
有鉴于此,本说明书施例提供了一种信息预测方法。本说明书一个或者多个实施例同时涉及一种信息预测装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种信息预测方法,包括:
获取第一历史时间段的历史时序信息,其中,历史时序信息包括多个时间序列;
将历史时序信息输入预先训练的时序模型,经时序模型中多个串联的时序子模型,得到各时序子模型输出的目标时间段的预测时序向量,其中,除第一个时序子模型的输入为历史时序信息以外,其他时序子模型的输入为上一个时序子模型输出的第一历史时间段的回测时序向量;
对各时序子模型输出的预测时序向量进行聚合,得到聚合结果;
基于聚合结果,确定目标时间段的预测信息。
根据本说明书实施例的第二方面,提供了一种信息预测装置,包括:
时序模块,被配置为获取第一历史时间段的历史时序信息,其中,历史时序信息包括多个时间序列;将历史时序信息输入预先训练的时序模型,经时序模型中多个串联的时序子模型,得到各时序子模型输出的目标时间段的预测时序向量,其中,除第一个时序子模型的输入为历史时序信息以外,其他时序子模型的输入为上一个时序子模型输出的第一历史时间段的回测时序向量;
预测模块,被配置为对各时序子模型输出的目标时间段的预测时序向量进行聚合,得到时序聚合结果,基于聚合结果,确定目标时间段的预测信息。
根据本说明书实施例的第三方面,提供了一种计算设备,包括:
存储器和处理器;
存储器用于存储计算机可执行指令,处理器用于执行计算机可执行指令,该计算机可执行指令被处理器执行时实现上述信息预测方法的步骤。
根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述信息预测方法的步骤。
根据本说明书实施例的第五方面,提供了一种计算机程序,其中,当计算机程序在计算机中执行时,令计算机执行上述信息预测方法的步骤。
本说明书一个或多个实施例中,通过将获取的第一历史时间段的历史时序信息输入预先训练的时序模型,经时序模型中多个串联的时序子模型,得到各时序子模型输出的目标时间段的预测时序向量,其中除第一个时序子模型以外的其他时序子模型的输入为上一个时序子模型输出的第一历史时间段的回测时序向量,然后对各时序子模型输出的预测时序向量进行聚合,基于聚合结果即可确定出目标时间段的预测信息。由于时序模型是预先训练的多层子模型结构,多层子模型结构能够对第一历史时间段的时序向量进行多次回测,并且基于每一次的回测时序向量对目标时间段的时序向量进行预测,因此,可同时输入多个时间序列,利用一个时序模型实现输入多个时间序列的情况下的信息预测,无需针对每个时间序列分别建立时序模型,提升了信息预测的效率、能够适用于复杂场景,并且多个时间序列会同时参与时序子模型的计算,意味着多个时间序列之间是共享模型参数的,从而时序模型能够捕捉到多个时间序列之间的相似性关系,使得信息预测的结果更为准确。
附图说明
图1是本说明书一个实施例提供的一种信息预测方法的流程图;
图2是本说明书一个实施例提供的一种信息预测方法中各时序子模型得到目标时间段的预测时序向量的处理过程流程图;
图3是本说明书一个实施例提供的一种信息预测方法中时序模型的训练流程图;
图4是本说明书一个实施例提供的另一种信息预测方法的流程图;
图5是本说明书一个实施例提供的又一种信息预测方法的流程图;
图6是本说明书一个实施例提供的一种可插拔式的多变量多元时间序列的信息预测架构图;
图7是本说明书一个实施例提供的一种信息预测装置的结构示意图;
图8是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
时序预测:是指根据在历史时间段内统计数据的时间序列,对未来的数据变化趋势进行预测分析。
一元时间序列:是指单个数据在历史时间段内的统计所构成的序列。例如地区用电量在过去一年的统计结果。
多元时间序列:包含多个一元时间序列,各个一元时间序列的采样时间点相同。例如,多个不同商家在同一历史时间段内的销售额。
单变量时间序列:是指在历史时间段内仅包含一个变量的数据,例如店铺的销量。
多变量时间序列:是指在历史时间段内可统计到2个或以上变量的数据,一个三变量的时间序列可以是由店铺的当日销量、当日到店人数以及历史平均销量所组成的序列。
可插拔式:指对不同的信息预测项目场景下的通用模块的抽象,使得这些模块之间可以灵活地组合,构造出符合用户项目需求的解决方案。
对未来信息的预测一直是工业界的一个重要研究方向。在零售行业,对未来的销售额/销售量进行预测,可以帮助商家更好地进行库存管理;在电商行业,对未来的商品交易总额(GMV,Gross Merchandise Volume)进行预测,可以更好地帮助店铺进行备货与资金准备、开展营销活动等;在金融信贷行业,对未来的余额规模进行预测,可以帮助相关机构更好地进行资金准备,预防流动性风险。可见,时序预测在各行各业的发展中都起着至关重要的作用。
在不同的项目场景下,所能观测、获取到的数据信息是千差万别的。从最简单的单变量一元时间序列,如单个店铺的销量;到多变量一元时间序列,如单个店铺历史的到店人数、销量、平均销量等;再到多变量多元时间序列,如多个店铺的多个历史统计数据等,所能观测和获取的数据信息越来越丰富,同时也意味着需要更复杂的模型结构来进行信息的加工、处理与使用。面对复杂且差异化较高的场景,如何对通用模块进行抽象、再组装,从而达到覆盖各种需求的效果就显得十分重要。
针对单一时间序列的问题,即只有一条历史时间序列,例如根据过去一段时间的销量信息,去预测未来每日销量。这种问题常见的方法有差分整合移动平均自回归(ARIMA,Autoregressive Integrated Moving Average)、指数平滑等多种建模方法。但这类建模方法的不足之处在于,它仅能够处理单一时间序列,当同时需要对多个时间序列进行预测,例如多家门店的销量,这类方法就无法胜任,需要对每家门店单独进行建模,一方面建模的时间和存储成本都会大大增加,另一方面模型也无法捕捉到不同门店的时间序列间的相似性。
为了应对上述问题,在本说明书实施例中,提供了一种信息预测方法,本说明书同时涉及一种信息预测装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,在下面的实施例中将逐一进行详细说明。
参见附图1,图1示出了根据本说明书一个实施例提供的一种信息预测方法的流程图,具体包括以下步骤。
步骤102:获取第一历史时间段的历史时序信息,其中,历史时序信息包括多个时间序列。
第一历史时间段是获取统计数据的历史时间区间,可以为过去的一年、一个季度,一个月、一天、一小时等,在此不做限定。
第一历史时间段的历史时序信息是在一个项目场景下,可以获取的历史时间段内的按照时间序列呈现的项目数据信息,其中,历史时间序列呈现方式为按照历史时间段的单位时间顺序排列,例如,一年中的每个月份顺序排列。第一历史时间段的历史时序信息包括多个时间序列,多个时间序列是一个项目场景下,获取的第一历史时间段内的项目数据的多个时间序列,每个时间序列可以为单变量一元时间序列,也可以为多变量一元时间序列,在此不做限定。示例性的,多个时间序列可以包括多家店铺中每家店铺在过去一年内每个月的到店人数、销量、营业额等组成的时间序列。
获取多个时间序列的历史时序信息,可以让模型一次性处理大量数据,而不需要依次对每个时间序列处理,提升了信息预测效率,也为后续预测提供了数据基础。
步骤104:将历史时序信息输入预先训练的时序模型,经时序模型中多个串联的时序子模型,得到各时序子模型输出的目标时间段的预测时序向量,其中,除第一个时序子模型的输入为历史时序信息以外,其他时序子模型的输入为上一个时序子模型输出的第一历史时间段的回测时序向量。
时序模型是预先训练的、可以通过对历史时序信息进行编码,从而得到预测时序向量的时序预测模型。本说明书实施例中,时序模型是基于机器学习技术训练得到的,该时序模型不同于传统的ARIMA、指数平滑等建模方法,该时序模型采用了多个时序子模型串联的深度神经网络结构。
多个时序子模型在时序模型中是串联的,每个时序子模型通过对其输入进行编码,可以得到目标时间段的预测时序向量,以及第一历史时间段的回测时序向量。在本说明书实施例中,将获取的第一历史时间段的历史时序信息输入时序模型,也就是将第一时间段的多个时间序列作为一个批次(batch)的数据一同输入时序模型。时序模型中第一个时序子模型将历史时序信息作为输入,可输出第一历史时间段的回测时序向量和目标时间段的预测时序向量,然后第一个时序子模型会将回测时序向量输出至第二个时序子模型,第二个时序子模型将回测时序向量作为输入,可输出第一历史时间段的回测时序向量和目标时间段的预测时序向量,以此类推,以后每一个时序子模型的输入都为上一个时序子模型输出的第一历史时间段的回测时序向量,并且每一个时序子模型都会输出目标时间段的预测时序向量。
在上述传递过程中,多个时间序列会同时参与各个时序子模型的计算,意味着多个时间序列之间是共享模型参数的,从而时序模型能够捕捉到多个时间序列之间的相似性关系。
预测时序向量为每个时序子模型经过编码后,预测得到目标时间段的时序向量,其中,目标时间段为未来的时间片段,例如未来一天、一周、一个月、一年等,在此不作限定。
第一历史时间段的回测时序向量为每个时序子模型经过编码后,回测得到的第一历史时间段的时序向量,其中,该第一历史时间段的回测时序向量和第一历史时间段的历史时序信息相比,不仅历史时间段一致,按照历史时间段的单位时间顺序排列的单位时间也一致。
通过预先训练的多个时序子模型串联的时序模型,无需针对每个时间序列分别建立时序模型,能够处理复杂场景,并引入回测机制,提升每个时序子模型对于未来信息的预测精准度。
步骤106:对各时序子模型输出的预测时序向量进行聚合,得到聚合结果,基于聚合结果,确定目标时间段的预测信息。
聚合为将各个时序子模型输出的预测时序向量整合成一个向量的方法,聚合向量的方法有很多种,例如对向量进行点乘、叉乘等等运算。
目标时间段的预测信息是在一个项目场景下,预测得到的目标时间段内的项目数据信息,可以是按照时间序列呈现的一个时间序列,例如,历史时间段的历史时序信息为2021年某品牌店铺每月的访问量数据、销售量数据、下单量数据等数据的组合,目标时间段的预测信息可以为2022年该品牌店铺每月的访问量数据、销售量数据、下单量数据等数据的组合。
在本说明书实施例的一种实现方式中,步骤106具体可以通过如下方式实现:对各时序子模型输出的预测时序向量进行元素级运算,得到聚合结果;根据聚合结果,经输出层获得目标时间段的预测信息。
具体地,为了保证各个预测时序向量中数据的统一,对各预测时序向量进行聚合所采用的为元素级运算(element-wise),也就是对不同预测时序向量中的同一个位置的元素进行累加、相乘、加权等元素级的运算,从而得到聚合的向量,该向量整合了各时序子模型输出的预测时序向量,更为完整地统计了对多个时间序列的预测结果。在得到聚合结果后,将聚合结果输入输出层(例如sigmoid层),经过输出层的运算,可获得目标时间段的预测信息。
应用本说明书实施例,通过将获取的第一历史时间段的历史时序信息输入预先训练的时序模型,经时序模型中多个串联的时序子模型,得到各时序子模型输出的目标时间段的预测时序向量,其中除第一个时序子模型以外的其他时序子模型的输入为上一个时序子模型输出的第一历史时间段的回测时序向量,然后对各时序子模型输出的预测时序向量进行聚合,基于聚合结果即可确定出目标时间段的预测信息。由于时序模型是预先训练的多层子模型结构,多层子模型结构能够对第一历史时间段的时序向量进行多次回测,并且基于每一次的回测时序向量对目标时间段的时序向量进行预测,因此,可同时输入多个时间序列,利用一个时序模型实现输入多个时间序列的情况下的信息预测,无需针对每个时间序列分别建立时序模型,提升了信息预测的效率、能够适用于复杂场景,并且多个时间序列会同时参与时序子模型的计算,意味着多个时间序列之间是共享模型参数的,从而时序模型能够捕捉到多个时间序列之间的相似性关系,使得信息预测的结果更为准确。
本说明书实施例中,时序子模型可以包括:自注意力编码层、深度神经网络编码层和双向预测编码层,针对任一时序子模型,得到目标时间段的预测时序向量的流程如图2所示,图2示出了本说明书一个实施例提供的一种信息预测方法中各时序子模型得到目标时间段的预测时序向量的处理过程流程图,具体包括以下步骤。
步骤202:针对该时序子模型的输入,利用自注意力编码层,对输入进行编码,得到第一特征向量。
自注意力编码层是基于自注意力(self-attention)机制建立的编码层,可以对输入的序列中每个时间步(timestep)的处理都融合进其他时间步的信息,保证了后续时序子模型的输出为具有高关联性的目标时间段的预测时序向量,和具有高关联性的历史时间段的回测时序向量。
在本说明书实施例的一种实现方式中,上述对输入的序列中每个时间步的处理都融合进其他时间步的信息,可以是基于权重矩阵的编码方式实现的。相应地,步骤202具有可以通过如下方式实现:
针对自注意力编码层的输入,采用预设的自注意力运算机制,并行获得多个权重矩阵;对多个权重矩阵进行融合,得到第一特征向量。
自注意力编码层包含嵌入层(Embedding Layer)和融合层(Concat Layer),嵌入层和融合层是串联连接的。
嵌入层可以采用预设的自注意力运算机制获得多个权重矩阵,其中,预设的自注意力运算机制是可以并行地获得多个权重矩阵的运算机制,例如可以是询问-键-值(QKV,Query-Key-Value)自注意力运算机制,当然,任何可以并行地获得多个权重矩阵的运算机制都属于本说明书实施例的保护范围,这里不做具体限定。下面以QKV自注意力运算机制为例,其包含询问嵌入层(Query Embedding)、键嵌入层(Key Embedding)和值嵌入层(ValueEmbedding),上述三个嵌入层之间是并联连接的,相比于传统的自注意力运算机制,因为QKV自注意力运算机制的并联结构,可以高效并行化进行嵌入运算,使得子时序模型的运算效率得以提升,从而提升了时序模型的预测效率。
嵌入层进行一次嵌入运算时的输入为第一历史时间段的历史时序信息或者第一历史时间段的回测时序向量,具体由该时序子模型在时序模型中的顺序决定(第一个时序子模型的嵌入层输入为第一历史时间段的历史时序信息;其他时序子模型的嵌入层输入为第一历史时间段的回测时序向量)。嵌入层中询问嵌入层、键嵌入层和值嵌入层的输入相同。
具体地,嵌入层的运算过程为:把输入进嵌入层的第一历史时间段的历史时序信息或者回测时间向量按照第一历史时间段的单位时间被切分成i个时间步,然后依次把每个时间步的数据并行输入询问嵌入层、键嵌入层和值嵌入层,并行获得询问权重矩阵、键权重矩阵和值权重矩阵,其中,询问权重矩阵为i×1大小的权重矩阵,键权重矩阵为1×i大小的权重矩阵,值权重矩阵为i×1大小的权重矩阵。
示例性地,自注意力编码层的输入为第一历史时间段的历史时序信息,2021年某品牌在某平台的销售量数据(550,640,1060,970),单位时间为一个季度。首先,嵌入层将该历史时序信息(Ti)按照季度切分为4个时间步[Ti],4个时间步的项目数据(销售量)为[(550),(640),(1060),(970)]。然后依次把每个时间步[Ti]的项目数据并行输入询问嵌入层、键嵌入层和值嵌入层。询问嵌入层经过序列嵌入,获得的询问权重矩阵(qi)为(q1,q2,q3,q4);键嵌入层经过序列嵌入,获得的键权重矩阵(ki)为(k1,k2,k3,k4)T;值嵌入层经过序列嵌入,获得的值权重矩阵(vi)为(v1,v2,v3,v4)。
在得到多个权重矩阵之后,自注意力编码层中的融合层对获得的多个权重矩阵进行融合处理,可得到第一特征向量。
本说明书实施例中,融合的方法具体为对获得的多个权重矩阵进行点乘、叉乘等运算。以QKV自注意力运算机制为例,先将询问权重矩阵和键权重矩阵进行数量积(*),得到融合数量积值;再将融合数量积和值权重矩阵进行向量积(×),得到融合向量,将该融合向量确定为第一特征向量。
示例性地,融合层先将询问权重矩阵(qi)和键权重矩阵(ki)进行数量积,得到融合数量积值,即(qi)*(ki)=q1×k1+q2×k2+q3×k3+q4×k4;再将融合数量积(qi)*(ki)和值权重矩阵(vi)进行向量积,得到融合向量[(qi)*(ki)×(vi)],将该融合向量确定为第一特征向量。
因为每个权重矩阵是根据每个时间步的项目数据嵌入得来的,所以对多个权重矩阵进行融合,可以使得每个时间步的项目数据融合了其它时间步的项目数据信息,进而可以增加时序模型对于时序序列中不同时间步的项目数据之间关联性的捕捉,得到更有规律性的目标时间段的预测信息。
通过采用预设的自注意力运算机制对自注意力编码层的输入进行编码,并行获得多个权重矩阵,并将多个权重矩阵进行融合,得到第一特征向量。预设的自注意力运算机制可以并行化编码输入,提升了整个时序模型的预测效率。
在上述自注意力编码层中,除了可以采用QKV自注意力运算机制这样的并行运算的自注意力运算机制以外,还可以采用长短期记忆模型(LSTM,Long short-term memory)/门控循环单元(GRU,Gated Recurrent Unit)等串行运行的自注意力运算机制,在本说明书实施例中不做具体限定。
步骤204:将第一特征向量输入深度神经网络编码层,经深度神经网络编码层中的多个全连接层顺序编码,得到第二特征向量。
深度神经网络编码层是由多层深度神经网络构成的,可以对第一特征向量中的特征进行提取,并根据提取的特征进行交叉组合运算,生成非线性的、信息密度高的高阶特征,生成的高阶特征可以在后续目标时间段的预测信息中强化第一历史时间段的历史时序信息的信息表达。例如,第一历史时间段的历史时序信息为2021年某品牌在某平台店铺的访问量数据、销售量数据、下单量数据,第一特征向量中含有访问量、销售量、下单量三个特征信息,深度神经网络编码层可以将访问量、销售量进行交叉组合运算,生成非线性的、信息密度高的高阶特征——访问/销售转化率,通过该访问/销售转化率可以分析某品牌在某平台店铺的店铺页面设计是否合理,进而指导该品牌作出店铺页面设计的针对性调整,上述高阶特征——访问/销售转化率是无法仅仅通过访问量或者销售量直接得出的,只有经过了交叉组合运算才能得到,才能使得时序模型的预测信息更加准确。
全连接层是上述多层深度神经网络中多层结构的部分组成,可以对提取得到的多个特征进行交叉组合运算,使得多层深度神经网络的生成非线性的的高阶特征在多个特征的基础上具有更高的信息密度。多个全连接层是串联的,可以进行顺序编码,即除了第一个全连接层外,每个全连接层的输入特征向量都是上一个全连接层的输出特征向量。
第二特征向量是最后一个全连接层的输出特征向量,具有高阶特征。
具体地,将第一特征向量输入深度神经网络编码层,经深度神经网络编码层中的多个全连接层顺序编码,得到具有高阶特征的第二特征向量。
示例性地,将第一特征向量[(qi)*(ki)×(vi)]输入深度神经网络编码层,提取到两个原始特征:时间步Ti和时间步Ti的销售量,深度神经网络编码层中的多个全连接层对提取得到的两个原始特征进行交叉组合运算,得到高阶特征——季度/销售量相关性S,参考该高阶特征,顺序编码后得到第二特征向量[(qi)*(ki)×(vi)|S]。
通过深度神经网络编码层中的多个全连接层对第一特征向量进行顺序编码,为后续双向预测数据的预测提供了数据基础。
步骤206:将第二特征向量输入双向预测编码层,经双向预测编码层中的回测层编码得到第一历史时间段的回测时序向量,经双向预测编码层中的预测层编码得到目标时间段的预测时序向量。
双向预测编码层可以根据第二特征向量中的原始特征和高阶特征做双向预测。
双向预测编码层包含回测层(Backcast Layer)和预测层(Forecast Layer),回测层的输出是输入下一个时序子模型的第一历史时间段的回测时序向量,预测层的输出是该时序子模型输出的目标时间段的预测时序向量。
回测层在经过回测运算,得到输第一历史时间段的回测时序向量后,立刻将该回测时序向量输入下一个时序子模型。预测层在经过预测运算,得到该时序子模型输出的目标时间段的预测时序向量后,将其暂时存储在预测层中,在确认最后一个时序子模型得到输出的目标时间段的预测时序向量后,才输出该时序子模型输出的目标时间段的预测时序向量。
具体地,将第二特征向量输入双向预测编码层,经双向预测编码层中的回测层编码得到第一历史时间段的回测时序向量,并将该第一历史时间段的回测时序向量输入下一个时序子模型,经双向预测编码层中的预测层编码得到目标时间段的预测时序向量,并将该目标时间段的预测时序向量存储在预测层中。
示例性地,将第二特征向量[(qi)*(ki)×(vi)|S]输入双向预测编码层,双向预测编码层可以根据第二特征向量中的原始特征——时间步Ti和时间步Ti的销售量和高阶特征季度/销售量相关性S,做出双向预测。经双向预测编码层中的回测层编码得到第一历史时间段的回测时序向量(Ti”)(560,630,1070,980),并将该第一历史时间段的回测时序向量输入下一个时序子模型,经双向预测编码层中的预测层编码得到目标时间段的预测时序向量(Ti’)(590,670,1100,1020),即2022年某品牌在某平台的销售量数据,并将该目标时间段的预测时序向量(Ti’)存储在预测层中。
应用本说明书实施例,利用自注意力编码层,对时序模型输入的信息进行编码,得到第一特征向量,可以增加时序模型对于时序信息中不同时间点统计值关联性的捕捉,提升时序子模型的预测精准度,另外结合上双向预测机制,让每个时序子模型关联性增加,预测得到更有规律性的预测信息。
图3示出了本说明书一个实施例提供的一种信息预测方法中时序模型的训练流程图,具体包括以下步骤。
步骤302:获取训练样本,其中,训练样本包括样本时序信息,样本时序信息包括多个时间序列。
训练样本包括多个历史时间段的样本时序信息,训练样本一般是经过预处理的,常见的预处理方式为标准化,可以消除训练样本中的时间序列中的时间步的多个项目数据信息之间相互影响。
获取训练样本的方式,是按照批次获取的。参考图1实施例的步骤102,获取训练样本可以为按批次获取多个平台统计的2011-2021年某品牌店铺的访问量数据、销售量数据、下单量数据等数据的一种数据或多种数据的组合。
具体地,按批次获取训练样本,其中,训练样本包括样本时序信息,样本时序信息包括多个时间序列。
获取多个时间序列的样本时序信息可以快速对时序模型进行训练,提升了训练效率,也为后续训练提供了样本基础。
步骤304:将训练样本输入预设神经网络,获得回测时序信息,其中,预设神经网络包括多个串联的时序子模型,除第一个时序子模型的输入为训练样本以外,其他时序子模型的输入为上一个时序子模型输出的回测时序向量,回测时序信息基于最后一个时序子模型输出的回测时序向量得到。
预设神经网络为多个串联的时序子模型构成的神经网络,其具有信息预测和回测功能。本说明书实施例中,该预设神经网络为基于机器学习的网络模型。
参考图1实施例的步骤102,时序子模型在预设神经网络中是串联连接的,可以对输入的训练样本中的时间序列进行编码,得到该时序子模型的回测时序向量,可以在对输入的训练样本中时间序列中每个时间步的项目数据信息编码中融合进其他时间步的项目数据信息,得到具有高关联性的回测时序向量,时序子模型的串联方式是除了第一个时序子模型外,每个时序子模型的输入都是上一个时序子模型的输出。
回测时序向量为每个子模型经过编码后,回测得到与训练样本历史时间段一致的时序向量。
通过引入回测机制来对预设神经网络进行训练,使得训练得到的时序子模型对于未来信息的预测精准度,进而保证后续聚合后得到的未来预测信息精准度提升,得到预测精准度更高的时序模型。
步骤306:根据回测时序信息和样本时序信息,计算损失值。
损失值是将回测时序信息和样本时序信息代入预先设定的针对该预设神经网络的损失函数中,计算得到的损失函数值。损失函数可以计算出在当前训练迭代中,训练的效果,用损失值来表示,常用的损失值计算方式有均方误差、平均误差、平滑平均误差等,在此不做限定。
根据回测时序信息和样本时序信息,计算损失值的计算方式可以为:根据回测时序信息中各个时间步的项目数据信息编码结果和样本时序信息中各个时间步的项目数据信息,运用均方误差计算出回测时序信息和样本时序信息的均方误差值,确定该均方误差值为损失值。
具体地,根据回测时序信息和样本时序信息,采用预先设定的针对该预设神经网络的损失函数,计算损失值。
计算得到的损失值可以为整个时序模型的迭代训练,提供数据判断条件,保证了训练的质量。
步骤308:基于损失值调整预设神经网络的网络参数,并返回执行步骤302。
步骤310:在满足预设训练停止条件的情况下,获得完成训练的时序模型。
预设训练停止条件是针对该预设神经网络预先设置的训练迭代停止条件,在满足预设训练停止条件时,结束训练,并确定当前训练迭代中的预设神经网络为时序模型。预设训练停止条件可以是预设的损失值阈值,也可以是预设的训练迭代条件值,例如,训练迭代次数、训练迭代时间、训练迭代的训练样本数量等,在此不作限定。
具体地,基于损失值调整预设神经网络的网络参数,并返回执行获取训练样本的步骤,直至在满足预设训练停止条件时,结束训练,并确定当前训练迭代中的预设神经网络为时序模型。
应用本说明书实施例,可以通过对预设神经网络的训练,得到预先训练的时序模型,为未来信息的预测提供了模型基础。
上述实施例解决了基于多个时间序列进行信息预测的问题,但是在实际场景下,一些附加信息对于信息预测有很大的影响,例如店铺的流量、是否是会员日、是否有促销活动等,这些附加信息在电商领域对预测结果尤为重要。
为了应对上述问题,图4示出了根据本说明书一个实施例提供的另一种信息预测方法的流程图,具体包括以下步骤。
步骤402:获取第二历史时间段的历史协变量信息。
第二历史时间段是获取历史协变量信息的数据时间区间,可以为一年、一个季度,一个月、一天、一小时等,在此不做限定,与图1实施例中的第一历史时间段可以相同也可以不相同。
协变量信息是有助于对目标时间段的预测信息做出预测的参考变量信息,例如,国际贸易趋势信息、国内贸易趋势信息等。历史协变量信息可以为历史滑动统计信息,即第二历史时间段的历史时序信息的最大值、最小值、平均值和指数滑动平均值(ExpotentialMoving Average)等,历史滑动统计信息可以很好地对第二历史时间段的历史时序信息做平滑处理,从而帮助时序模型捕捉到目标时间段的预测信息的变化趋势的信息,也可以为通过对单变量一元时间序列数据、多变量一元时间序列数据、多变量多元时间序列数据中的单变量时间序列数据进行嵌入编码后得到的经过信息补充的参考变量信息,在此不作限定。
获取第二历史时间段的历史协变量信息,为后续预测提供了数据基础。
步骤404:将历史协变量信息输入预先训练的协变量模型,获得目标时间段的预测协变量向量。
预先训练的协变量模型是对预设神经网络进行训练后得到的,可以对历史协变量信息进行编码,从而得到预测协变量向量的协变量预测模型。本说明书实施例中,预设神经网络是开源的,可以直接获取。
预测协变量向量为协变量模型经过编码后,预测得到目标时间段的协变量向量,其中,目标时间段为未来的时间片段,例如未来一天、一周、一个月、一年等,与图1实施例中目标时间段一致。
可选地,协变量模型为多层神经网络模型(MLP,Multilayer Perceptron)。
因为协变量模型的输入可能为多个第二历史时间段的历史协变量信息,所以采用多层神经网络(MLP)进行信息的编码,可以保证多个第二历史时间段的历史协变量信息编码时,编码结果存在独立性,互相不影响。
具体地,将第二历史时间段的历史协变量信息输入预先训练的协变量模型,编码后获得目标时间段的预测协变量向量。
获得目标时间段的预测协变量向量,为把预测协变量信息融合进聚合结果提供了数据基础。
步骤406:对聚合结果和预测协变量向量进行元素级运算,得到更新的聚合结果。
聚合向量是图1说明书实施例中步骤106得到的聚合结果。
为了保证各个预测时序向量中数据的统一,对聚合结果和预测协变量向量进行元素级运算,从而得到更新后的聚合的向量,该向量整合了原聚合结果和协变量模型输出的预测协变量向量,得到更新的聚合结果,融合了协变量信息。
元素级运算可以为对聚合结果中的每个聚合向量元素和预测协变量向量中每个向量元素进行数量积,得到更新的预测数量积值,确定该更新的预测数量积值为更新的聚合结果。
元素级运算可以为对聚合结果中的每个聚合向量元素和预测协变量向量中每个向量元素进行向量积,得到更新的预测向量积向量,确定该更新的预测向量积向量为更新的聚合结果。
对聚合结果和预测协变量向量进行元素级运算,保证各个预测时序向量和预测协变量向量聚合得到的聚合结果数据的统一,另外,对聚合结果进行更新,保证了聚合结果在时序模型得到预测信息基础融合了预测协变量信息,使得聚合结果包含信息量更多,后续预测的结果更精准。
步骤408:根据聚合结果,经输出层获得目标时间段的预测信息。
在得到更新的聚合结果后,将聚合结果输入输出层(例如sigmoid层),经过输出层的运算,可获得目标时间段的预测信息。
应用本说明书实施例,在时序模型的预测基础上,采用协变量模型,得到预测协变量向量,进而保证在利用了更多有效的信息进行预测情况下,整个模型框架更具有更广的适用性,模型的预测结果具有更高精准度。
除了上述协变量信息以外,日期信息对于信息预测也有较大影响,如图5所示,出了根据本说明书一个实施例提供的又一种信息预测方法的流程图,具体包括以下步骤。
步骤502:获取日期统计信息。
日期统计信息可以为对历史时间段的日期统计得到的历史统计信息,也可以是对未来时间段的日期预测得到的预测统计信息,还可以是两者的结合,在此不作限定。
日期统计信息是有助于对目标时间段的预测信息做出预测的参考变量信息,可以为经过提取特殊日期后进行标注的统计信息,例如,针对平台电商店铺的项目场景,11月11日、6月18日、春节等特殊日期,会对店铺的销量数据、访问量数据、下单量数据等产生极大的影响,也可以为未经过提取特殊日期的统计信息,在后续日期模型中进行提取和标注,例如,店铺或平台设定的活动日、工作日、非工作日,也会对店铺的销量数据、访问量数据、下单量数据等产生一定的影响。
获取日期统计信息,为后续预测提供了数据基础。
步骤504:将日期统计信息输入预先训练的日期模型,获得目标时间段内的预测日期向量。
预先训练的日期模型是对预设神经网络进行训练后得到的,可以对日期统计信息进行编码,从而得到预测日期向量的日期预测模型。本说明书实施例中,预设神经网络是开源的,可以直接获取。
预测日期向量为日期模型经过编码后,预测得到目标时间段的日期向量,其中,目标时间段为未来的时间片段,例如未来一天、一周、一个月、一年等,与图1实施例中目标时间段一致。
可选地,日期模型为长短期记忆模型(LSTM,Long short-term memory)。
因为采用长短期记忆模型这种类循环神经网络(RNN,Recurrent NeuralNetwork)的结构,不仅可以将日期统计信息融入到最终确定的目标时间段的预测信息中,同时还可以引入日期统计信息的顺序关系,使得目标时间段的预测信息具有更强的因果性和解释性,可以更好捕捉预测的规律。
在本说明书实施例中,日期模型除了可以为LSTM以外,还可以为RNN、GRU等更简单的循环神经网络结构。
具体地,将日期统计信息输入预先训练的日期模型,编码后获得目标时间段内的预测日期向量。
获得目标时间段内的预测日期向量,为把预测日期信息融合进聚合结果提供了数据基础。
步骤506:对聚合结果和预测日期向量进行元素级运算,得到更新的聚合结果。
聚合向量是图1说明书实施例中步骤106得到的聚合结果,也可以是图4说明书实施例中步骤406得到的更新后的聚合结果。
为了保证各个预测时序向量中数据的统一,对聚合结果和预测日期向量进行元素级运算,从而得到更新后的聚合的向量,该向量整合了原聚合结果和日期模型输出的预测日期向量,得到更新的聚合结果,融合了日期信息。
元素级运算可以为对聚合结果中的每个聚合的向量元素和预测日期向量中每个向量元素进行数量积,得到更新的预测数量积值,确定该更新的预测数量积值为更新的聚合结果。
元素级运算可以为对聚合结果中的每个聚合的向量元素和预测日期向量中每个向量元素进行向量积,得到更新的预测向量积向量,确定该更新的预测向量积向量为更新的聚合结果。
对聚合结果和预测日期向量进行元素级运算,保证各个预测时序向量和预测日期向量聚合得到的聚合结果数据的统一,另外,对聚合结果进行更新,保证了聚合结果在时序模型得到预测信息基础融合了预测日期信息,使得聚合结果包含信息量更多,后续预测的结果更精准。
步骤508:根据聚合结果,经输出层获得目标时间段的预测信息。
在得到更新的聚合结果后,将聚合结果输入输出层(例如sigmoid层),经过输出层的运算,可获得目标时间段的预测信息。
应用本说明书实施例,在时序模型的预测基础上,采用日期模型,得到预测日期向量,进而保证在利用了更多有效的信息进行预测情况下,整个模型框架更具有更广的适用性,模型的预测结果具有更高精准度。
下面结合附图6,对上述结合了图1、图2、图4、图5实施例的信息预测方法进行详细说明。其中,图6示出了本说明书一实施例提供的一种可插拔式的多变量多元时间序列的信息预测架构图,包括时序模型、日期模型和协变量模型,其中,时序模型包括多个时序子模型(如图中的时序子模型1、时序子模型2、…、时序子模型N),时序子模型中包括自注意力编码层、深度神经网络编码层和双向预测编码层。时序子模型的执行流程如下:
自注意力编码层采用了经典的QKV自注意力运算机制,Q嵌入层、K嵌入层和V嵌入层分别对输入的时序信息(T1,T2,…,Ti-1,Ti)进行嵌入编码,得到Q嵌入向量(q1,q2,…,qi)、K嵌入向量(k1,k2,…,ki)T和V嵌入向量(v1,v2,…,vi),attention机制的加入使得每个时间步(timestep)下的时间序列融合了其他时间步下时间序列的数据,可以增加模型对于时间序列中不同时间点数据关联性的捕捉,另外,QKV自注意力运算机制属于并行化的attention方式,可以提升模型训练效率。经过融合层的融合,可得到第一特征向量[(q1,q2,…,qi)*(k1,k2,…,ki)T×(v1,v2,…,vi)]。
将第一特征向量输入深度神经网络编码层,深度神经网络编码层由多个全连接层构成,主要负责自动化加工高阶特征以及对原始信息的非线性变换,强化时序信息的表达,具体的过程见图2所示实施例。第一特征向量经深度神经网络编码层中的多个全连接层顺序编码,得到第二特征向量。
然后,将第二特征向量输入双向预测编码层,双向预测编码层分为两个部分,图中左侧部分为回测层,即用来生成对第一历史时间段的信息回测,经回测层编码可得到第一历史时间段的回测时序向量,图中右侧部分为预测层,即用来生成对目标时间段的信息预测,经预测层编码可得到目标时间段的预测时序向量。增加回测层可以帮助模型很好地去分解历史时间序列趋势、周期、随机项等信息。回测层的结果会作为下一个时序子模型的输入,而预测层的结果会存储下来,用于与其他时序子模型的结果进行聚合。
协变量是指除了所关注的时序信息以外的其它有助于对信息进行预测的变量,常见的主要有历史滑动统计信息,如过去N天指数滑动平均值、过去N天平均/最大/最小值等,统计类型变量可以很好地对历史信息做平滑,帮助模型捕捉到趋势性的信息。在协变量模型中,考虑到会存在一个或多个协变量信息,因此可采用MLP进行信息的编码,即协变量模型中包括多个全连接层,针对获取的过去N天指数滑动平均值、过去N天平均/最大/最小值等数据,通过协变量模型中各全连接层的顺序编码,可得到目标时间段的预测协变量向量。如图所示。
在时序预测中,日期信息对于区分未来信息变化非常重要,尤其对于预测特殊时点有至关重要的决定作用;在电商领域中,如双11大促、618大促、春节过年等时间段,销量均表现出极端的高或极端的低,甚至每年随着运营活动和预热期的变化而发生变化;除此之外,日常的会员日、周末、工作日等信息也相当重要;因此,本说明书实施例中设计了日期模型用来进行节假日、活动日、工作日、非工作日等信息的捕捉。在这个模型中,提出了一种叠加式的日期信息编码,即将日期(例如周几)、是否大促、是否为节假日等信息叠加,然后采用LSTM进行序列编码,最终进行相加产出叠加后的目标时间段内的预测日期向量。采用LSTM这种类RNN的结构,不仅可以将日期信息融入到最终预测中,同时还可以引入日期之前的顺序关系信息,如大促预热->大促正式这两种日期信息本质是存在前后关系的。
考虑到在时序预测问题中,依赖的场景、可获取的数据源等情况均有不同,因此会出现仅有时序数据,但无协变量数据的情况,或者无日期相关信息,此时我们仅能获取到三个模型中的部分数据。因此在聚合计算部分,我们采用模块结果相加的方式进行聚合,这样,可以支持可插拔设计:当只有时序信息时,协变量与日期模型的输入为空,输出也为空,此时聚合计算的结果等于时序模型的输出结果;当拥有时序信息和日期信息时,协变量模型的输入为空,输出也为空,此时聚合计算的结果等于时序模型的输出结果与日期模型的输出结果的相加聚合,以此类推,采用如此方式便可实现模块化的灵活组合和可插拔式设计,泛化到各类时序预测的项目场景中去。架构更具有通用性和泛化性。
与上述方法实施例相对应,本说明书还提供了信息预测装置实施例,图7示出了本说明书一个实施例提供的一种信息预测装置的结构示意图。如图7所示,该装置包括:
时序模块702,被配置为获取第一历史时间段的历史时序信息,其中,历史时序信息包括多个时间序列;将历史时序信息输入预先训练的时序模型,经时序模型中多个串联的时序子模型,得到各时序子模型输出的目标时间段的预测时序向量,其中,除第一个时序子模型的输入为历史时序信息以外,其他时序子模型的输入为上一个时序子模型输出的第一历史时间段的回测时序向量。
预测模块704,被配置为对各时序子模型输出的目标时间段的预测时序向量进行聚合,得到时序聚合结果;基于聚合结果,确定目标时间段的预测信息。
可选地,时序子模型包括:自注意力编码层、深度神经网络编码层和双向预测编码层;
时序模块702,进一步被配置为针对任一时序子模型的输入,利用自注意力编码层,对输入进行编码,得到第一特征向量;将第一特征向量输入深度神经网络编码层,经深度神经网络编码层中的多个全连接层顺序编码,得到第二特征向量;将第二特征向量输入双向预测编码层,经双向预测编码层中的回测层编码得到第一历史时间段的回测时序向量,经双向预测编码层中的预测层编码得到目标时间段的预测时序向量。
可选地,时序模块702,进一步被配置为针对自注意力编码层的输入,采用预设的自注意力运算机制,并行获得多个权重矩阵;对多个权重矩阵进行融合,得到第一特征向量。
可选地,该装置还包括训练模块;
训练模块,被配置为获取训练样本,其中,训练样本包括样本时序信息,样本时序信息包括多个时间序列;将训练样本输入预设神经网络,获得回测时序信息,其中,预设神经网络包括多个串联的时序子模型,除第一个时序子模型的输入为训练样本以外,其他时序子模型的输入为上一个时序子模型输出的回测时序向量,回测时序信息基于最后一个时序子模型输出的回测时序向量得到;根据回测时序信息和样本时序信息,计算损失值;基于损失值调整预设神经网络的网络参数,并返回执行获取训练样本的步骤,直至满足预设训练停止条件的情况下,获得完成训练的时序模型。
可选地,预测模块704,进一步被配置为对各时序子模型输出的预测时序向量进行元素级运算,得到聚合结果;根据聚合结果,经输出层获得目标时间段的预测信息。
可选地,该装置还包括:协变量模块;
协变量模块,被配置为获取第二历史时间段的历史协变量信息;将历史协变量信息输入预先训练的协变量模型,获得目标时间段的预测协变量向量;
预测模块704,进一步被配置为对聚合结果和预测协变量向量进行元素级运算,得到更新的聚合结果;根据聚合结果,经输出层获得目标时间段的预测信息。
可选地,协变量模型为多层神经网络模型。
可选地,该装置还包括:日期模块;
日期模块,被配置为获取日期统计信息;将日期统计信息输入预先训练的日期模型,获得目标时间段内的预测日期向量;
预测模块704,进一步被配置为对聚合结果和预测日期向量进行元素级运算,得到更新的聚合结果;根据聚合结果,经输出层获得目标时间段的预测信息。
可选地,日期模型为长短期记忆模型。
应用本说明书实施例,通过将获取的第一历史时间段的历史时序信息输入预先训练的时序模型,经时序模型中多个串联的时序子模型,得到各时序子模型输出的目标时间段的预测时序向量,其中除第一个时序子模型以外的其他时序子模型的输入为上一个时序子模型输出的第一历史时间段的回测时序向量,然后对各时序子模型输出的预测时序向量进行聚合,基于聚合结果即可确定出目标时间段的预测信息。由于时序模型是预先训练的多层子模型结构,多层子模型结构能够对第一历史时间段的时序向量进行多次回测,并且基于每一次的回测时序向量对目标时间段的时序向量进行预测,因此,可同时输入多个时间序列,利用一个时序模型实现输入多个时间序列的情况下的信息预测,无需针对每个时间序列分别建立时序模型,提升了信息预测的效率、能够适用于复杂场景,并且多个时间序列会同时参与时序子模型的计算,意味着多个时间序列之间是共享模型参数的,从而时序模型能够捕捉到多个时间序列之间的相似性关系,使得信息预测的结果更为准确。
上述为本实施例的一种信息预测装置的示意性方案。需要说明的是,该信息预测装置的技术方案与上述的信息预测方法的技术方案属于同一构思,信息预测装置的技术方案未详细描述的细节内容,均可以参见上述信息预测方法的技术方案的描述。
图8示出了根据本说明书一个实施例提供的一种计算设备的结构框图。该计算设备800的部件包括但不限于存储器810和处理器820。处理器820与存储器810通过总线830相连接,数据库850用于保存数据。
计算设备800还包括接入设备840,接入设备840使得计算设备800能够经由一个或多个网络860通信。这些网络的示例包括公用交换电话网(PSTN,Public SwitchedTelephone Network)、局域网(LAN,Local AreaNetwork)、广域网(WAN,Wide AreaNetwork)、个域网(PAN,Personal AreaNetwork)或诸如因特网的通信网络的组合。接入设备840可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,NetworkInterface Controller))中的一个或多个,诸如IEEE802.11无线局域网(WLAN,WirelessLocal Area Networks)无线接口、全球微波互联接入(Wi-MAX,World Interoperabilityfor Microwave Access)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near Field Communication)接口,等等。
在本说明书的一个实施例中,计算设备800的上述部件以及图8中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图8所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备800可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备800还可以是移动式或静止式的服务器。
其中,处理器820用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述信息预测方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的信息预测方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述信息预测方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述信息预测方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的信息预测方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述信息预测方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当计算机程序在计算机中执行时,令计算机执行上述信息预测方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的信息预测方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述信息预测方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (12)

1.一种信息预测方法,包括:
获取第一历史时间段的历史时序信息,其中,所述历史时序信息包括多个时间序列;
将所述历史时序信息输入预先训练的时序模型,经所述时序模型中多个串联的时序子模型,得到各时序子模型输出的目标时间段的预测时序向量,其中,除第一个时序子模型的输入为所述历史时序信息以外,其他时序子模型的输入为上一个时序子模型输出的所述第一历史时间段的回测时序向量;
对所述各时序子模型输出的预测时序向量进行聚合,得到聚合结果,基于所述聚合结果,确定所述目标时间段的预测信息。
2.根据权利要求1所述的方法,所述时序子模型包括:自注意力编码层、深度神经网络编码层和双向预测编码层;
所述经所述时序模型中多个串联的时序子模型,得到各时序子模型输出的目标时间段的预测时序向量,包括:
针对任一时序子模型的输入,利用所述自注意力编码层,对所述输入进行编码,得到第一特征向量;
将所述第一特征向量输入所述深度神经网络编码层,经所述深度神经网络编码层中的多个全连接层顺序编码,得到第二特征向量;
将所述第二特征向量输入所述双向预测编码层,经所述双向预测编码层中的回测层编码得到所述第一历史时间段的回测时序向量,经所述双向预测编码层中的预测层编码得到所述目标时间段的预测时序向量。
3.根据权利要求2所述的方法,所述利用所述自注意力编码层,对所述输入进行编码,得到第一特征向量,包括:
针对所述自注意力编码层的输入,采用预设的自注意力运算机制,并行获得多个权重矩阵;
对所述多个权重矩阵进行融合,得到第一特征向量。
4.根据权利要求1-3任一项所述的方法,在所述将所述历史时序信息输入预先训练的时序模型之前,还包括:
获取训练样本,其中,所述训练样本包括样本时序信息,所述样本时序信息包括多个时间序列;
将所述训练样本输入预设神经网络,获得回测时序信息,其中,所述预设神经网络包括多个串联的时序子模型,除第一个时序子模型的输入为所述训练样本以外,其他时序子模型的输入为上一个时序子模型输出的回测时序向量,所述回测时序信息基于最后一个时序子模型输出的回测时序向量得到;
根据所述回测时序信息和所述样本时序信息,计算损失值;
基于所述损失值调整所述预设神经网络的网络参数,并返回执行所述获取训练样本的步骤,直至满足预设训练停止条件的情况下,获得完成训练的时序模型。
5.根据权利要求1-3任一项所述的方法,所述对所述各时序子模型输出的预测时序向量进行聚合,得到聚合结果,包括:
对所述各时序子模型输出的预测时序向量进行元素级运算,得到聚合结果;
所述基于所述聚合结果,确定所述目标时间段的预测信息,包括:
根据所述聚合结果,经输出层获得所述目标时间段的预测信息。
6.根据权利要求1所述的方法,还包括:
获取第二历史时间段的历史协变量信息;
将所述历史协变量信息输入预先训练的协变量模型,获得所述目标时间段的预测协变量向量;
所述基于所述聚合结果,确定所述目标时间段的预测信息,包括:
对所述聚合结果和所述预测协变量向量进行元素级运算,得到更新的所述聚合结果;
根据所述聚合结果,经输出层获得所述目标时间段的预测信息。
7.根据权利要求6所述的方法,所述协变量模型为多层神经网络模型。
8.根据权利要求1或6所述的方法,还包括:
获取日期统计信息;
将所述日期统计信息输入预先训练的日期模型,获得所述目标时间段内的预测日期向量;
所述基于所述聚合结果,确定所述目标时间段的预测信息,包括:
对所述聚合结果和所述预测日期向量进行元素级运算,得到更新的所述聚合结果;
根据所述聚合结果,经输出层获得所述目标时间段的预测信息。
9.根据权利要求8所述的方法,所述日期模型为长短期记忆模型。
10.一种信息预测装置,包括:
时序模块,被配置为获取第一历史时间段的历史时序信息,其中,所述历史时序信息包括多个时间序列;将所述历史时序信息输入预先训练的时序模型,经所述时序模型中多个串联的时序子模型,得到各时序子模型输出的目标时间段的预测时序向量,其中,除第一个时序子模型的输入为所述历史时序信息以外,其他时序子模型的输入为上一个时序子模型输出的所述第一历史时间段的回测时序向量;
预测模块,被配置为对所述各时序子模型输出的目标时间段的预测时序向量进行聚合,得到时序聚合结果,基于所述聚合结果,确定所述目标时间段的预测信息。
11.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,所述计算机可执行指令被所述处理器执行时实现权利要求1至9任意一项所述信息预测方法的步骤。
12.一种计算机可读存储介质,其存储有计算机可执行指令,所述计算机可执行指令被处理器执行时实现权利要求1至9任意一项所述信息预测方法的步骤。
CN202210143587.6A 2022-02-16 2022-02-16 信息预测方法以及装置 Pending CN114519610A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210143587.6A CN114519610A (zh) 2022-02-16 2022-02-16 信息预测方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210143587.6A CN114519610A (zh) 2022-02-16 2022-02-16 信息预测方法以及装置

Publications (1)

Publication Number Publication Date
CN114519610A true CN114519610A (zh) 2022-05-20

Family

ID=81599315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210143587.6A Pending CN114519610A (zh) 2022-02-16 2022-02-16 信息预测方法以及装置

Country Status (1)

Country Link
CN (1) CN114519610A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048992A (zh) * 2022-06-06 2022-09-13 支付宝(杭州)信息技术有限公司 建立时间序列预测模型的方法、时间序列预测方法和装置
CN115359654A (zh) * 2022-08-02 2022-11-18 支付宝(杭州)信息技术有限公司 流量预测系统的更新方法及装置
CN115841346A (zh) * 2023-02-23 2023-03-24 杭银消费金融股份有限公司 用于经营决策的资产减值预测方法和系统
CN116128558A (zh) * 2022-11-30 2023-05-16 北京伽睿智能科技集团有限公司 一种智能排班时序预测方法、系统、设备及存储介质
CN116415990A (zh) * 2023-06-09 2023-07-11 吉贝克信息技术(北京)有限公司 一种基于云计算的自助数据分析方法、系统及存储介质
CN117196544A (zh) * 2023-11-07 2023-12-08 恒实建设管理股份有限公司 一种工程信息智能化管理方法及系统
CN118261628A (zh) * 2024-04-18 2024-06-28 福州金域医学检验实验室有限公司 一种研发成本可视化管理方法及系统
CN118365248A (zh) * 2024-06-18 2024-07-19 运易通科技有限公司 一种基于数据分析的采购单智能生成决策系统
CN118503711A (zh) * 2024-05-29 2024-08-16 中科南京移动通信与计算创新研究院 多变量时序预测方法、电子设备及存储介质
CN118568673A (zh) * 2024-07-31 2024-08-30 阿里云飞天(杭州)云计算技术有限公司 时序预测系统、方法、设备、存储介质及程序产品
CN118605354A (zh) * 2024-08-06 2024-09-06 广东惠州液化天然气有限公司 一种消能井监测控制方法

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5342708B1 (ja) * 2013-06-19 2013-11-13 株式会社日立パワーソリューションズ 異常検知方法及びその装置
CN110472798A (zh) * 2019-08-22 2019-11-19 腾讯科技(深圳)有限公司 时间序列数据的预测方法、装置及计算机可读存储介质
CN111161535A (zh) * 2019-12-23 2020-05-15 山东大学 基于注意力机制的图神经网络交通流量预测方法及系统
CN111177493A (zh) * 2020-01-03 2020-05-19 腾讯科技(深圳)有限公司 数据处理方法、装置、服务器和存储介质
WO2020143409A1 (zh) * 2019-01-07 2020-07-16 阿里巴巴集团控股有限公司 预测业务指标的方法及装置
CN111680786A (zh) * 2020-06-10 2020-09-18 中国地质大学(武汉) 一种基于改进权重门控单元的时序预测方法
US20200311513A1 (en) * 2019-03-31 2020-10-01 Palo Alto Networks Multi-model based target engagement sequence generator
CN111783938A (zh) * 2020-05-25 2020-10-16 华为技术有限公司 时间序列的预测方法和装置
CN112001527A (zh) * 2020-07-29 2020-11-27 中国计量大学 多特征融合深度神经网络的工业生产过程目标数据预测方法
CN112016616A (zh) * 2020-08-27 2020-12-01 西华大学 一种高频金融时序序列多类别预测方法
WO2020238415A1 (zh) * 2019-05-29 2020-12-03 深圳前海微众银行股份有限公司 一种监控模型训练的方法及装置
CN112561704A (zh) * 2020-12-24 2021-03-26 银江股份有限公司 一种多变量输入多变量输出时间序列预测方法及系统
CN112668711A (zh) * 2020-11-30 2021-04-16 西安电子科技大学 基于深度学习的洪水流量预测方法、装置和电子设备
CN112884230A (zh) * 2021-02-26 2021-06-01 润联软件系统(深圳)有限公司 基于多元时间序列的电力负荷预测方法、装置及相关组件
CN112967388A (zh) * 2021-03-31 2021-06-15 东莞中国科学院云计算产业技术创新与育成中心 三维时序图像神经网络模型的训练方法和装置
US20210209938A1 (en) * 2020-09-25 2021-07-08 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, system, and computer-readable medium for traffic pattern prediction
CN113408797A (zh) * 2021-06-07 2021-09-17 北京京东振世信息技术有限公司 流转量预测多时序模型生成方法、信息发送方法和装置
CN113779859A (zh) * 2021-02-02 2021-12-10 北京瑞莱智慧科技有限公司 可解释的时序预测模型的训练方法、装置和计算设备
CN113947186A (zh) * 2021-10-13 2022-01-18 广东工业大学 一种基于生成对抗网络的供热能耗循环预测方法
CN113962294A (zh) * 2021-09-30 2022-01-21 西南电子技术研究所(中国电子科技集团公司第十研究所) 多类型事件预测模型
CN114004383A (zh) * 2020-07-14 2022-02-01 华为技术有限公司 时间序列预测模型的训练方法、时间序列预测方法及装置

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5342708B1 (ja) * 2013-06-19 2013-11-13 株式会社日立パワーソリューションズ 異常検知方法及びその装置
WO2020143409A1 (zh) * 2019-01-07 2020-07-16 阿里巴巴集团控股有限公司 预测业务指标的方法及装置
US20200311513A1 (en) * 2019-03-31 2020-10-01 Palo Alto Networks Multi-model based target engagement sequence generator
WO2020238415A1 (zh) * 2019-05-29 2020-12-03 深圳前海微众银行股份有限公司 一种监控模型训练的方法及装置
CN110472798A (zh) * 2019-08-22 2019-11-19 腾讯科技(深圳)有限公司 时间序列数据的预测方法、装置及计算机可读存储介质
CN111161535A (zh) * 2019-12-23 2020-05-15 山东大学 基于注意力机制的图神经网络交通流量预测方法及系统
CN111177493A (zh) * 2020-01-03 2020-05-19 腾讯科技(深圳)有限公司 数据处理方法、装置、服务器和存储介质
CN111783938A (zh) * 2020-05-25 2020-10-16 华为技术有限公司 时间序列的预测方法和装置
CN111680786A (zh) * 2020-06-10 2020-09-18 中国地质大学(武汉) 一种基于改进权重门控单元的时序预测方法
CN114004383A (zh) * 2020-07-14 2022-02-01 华为技术有限公司 时间序列预测模型的训练方法、时间序列预测方法及装置
CN112001527A (zh) * 2020-07-29 2020-11-27 中国计量大学 多特征融合深度神经网络的工业生产过程目标数据预测方法
CN112016616A (zh) * 2020-08-27 2020-12-01 西华大学 一种高频金融时序序列多类别预测方法
US20210209938A1 (en) * 2020-09-25 2021-07-08 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, system, and computer-readable medium for traffic pattern prediction
CN112668711A (zh) * 2020-11-30 2021-04-16 西安电子科技大学 基于深度学习的洪水流量预测方法、装置和电子设备
CN112561704A (zh) * 2020-12-24 2021-03-26 银江股份有限公司 一种多变量输入多变量输出时间序列预测方法及系统
CN113779859A (zh) * 2021-02-02 2021-12-10 北京瑞莱智慧科技有限公司 可解释的时序预测模型的训练方法、装置和计算设备
CN112884230A (zh) * 2021-02-26 2021-06-01 润联软件系统(深圳)有限公司 基于多元时间序列的电力负荷预测方法、装置及相关组件
CN112967388A (zh) * 2021-03-31 2021-06-15 东莞中国科学院云计算产业技术创新与育成中心 三维时序图像神经网络模型的训练方法和装置
CN113408797A (zh) * 2021-06-07 2021-09-17 北京京东振世信息技术有限公司 流转量预测多时序模型生成方法、信息发送方法和装置
CN113962294A (zh) * 2021-09-30 2022-01-21 西南电子技术研究所(中国电子科技集团公司第十研究所) 多类型事件预测模型
CN113947186A (zh) * 2021-10-13 2022-01-18 广东工业大学 一种基于生成对抗网络的供热能耗循环预测方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048992A (zh) * 2022-06-06 2022-09-13 支付宝(杭州)信息技术有限公司 建立时间序列预测模型的方法、时间序列预测方法和装置
CN115359654A (zh) * 2022-08-02 2022-11-18 支付宝(杭州)信息技术有限公司 流量预测系统的更新方法及装置
CN115359654B (zh) * 2022-08-02 2023-09-08 支付宝(杭州)信息技术有限公司 流量预测系统的更新方法及装置
CN116128558A (zh) * 2022-11-30 2023-05-16 北京伽睿智能科技集团有限公司 一种智能排班时序预测方法、系统、设备及存储介质
CN116128558B (zh) * 2022-11-30 2024-02-13 北京伽睿智能科技集团有限公司 一种智能排班时序预测方法、系统、设备及存储介质
CN115841346A (zh) * 2023-02-23 2023-03-24 杭银消费金融股份有限公司 用于经营决策的资产减值预测方法和系统
CN116415990A (zh) * 2023-06-09 2023-07-11 吉贝克信息技术(北京)有限公司 一种基于云计算的自助数据分析方法、系统及存储介质
CN116415990B (zh) * 2023-06-09 2023-09-01 吉贝克信息技术(北京)有限公司 一种基于云计算的自助数据分析方法、系统及存储介质
CN117196544B (zh) * 2023-11-07 2024-01-30 恒实建设管理股份有限公司 一种工程信息智能化管理方法及系统
CN117196544A (zh) * 2023-11-07 2023-12-08 恒实建设管理股份有限公司 一种工程信息智能化管理方法及系统
CN118261628A (zh) * 2024-04-18 2024-06-28 福州金域医学检验实验室有限公司 一种研发成本可视化管理方法及系统
CN118261628B (zh) * 2024-04-18 2024-10-29 福州金域医学检验实验室有限公司 一种研发成本可视化管理方法及系统
CN118503711A (zh) * 2024-05-29 2024-08-16 中科南京移动通信与计算创新研究院 多变量时序预测方法、电子设备及存储介质
CN118365248A (zh) * 2024-06-18 2024-07-19 运易通科技有限公司 一种基于数据分析的采购单智能生成决策系统
CN118568673A (zh) * 2024-07-31 2024-08-30 阿里云飞天(杭州)云计算技术有限公司 时序预测系统、方法、设备、存储介质及程序产品
CN118605354A (zh) * 2024-08-06 2024-09-06 广东惠州液化天然气有限公司 一种消能井监测控制方法

Similar Documents

Publication Publication Date Title
CN114519610A (zh) 信息预测方法以及装置
Pasquadibisceglie et al. Using convolutional neural networks for predictive process analytics
CN111160968A (zh) Sku级别商品销量预测方法及装置
CN112528110A (zh) 确定实体业务属性的方法及装置
CN111667307B (zh) 一种理财产品销量的预测方法及装置
Latif et al. Comparative performance of LSTM and ARIMA for the short-term prediction of bitcoin prices
Al Imran et al. Deep neural network approach for predicting the productivity of garment employees
CN113469399A (zh) 业务预测方法及装置
CN110555749A (zh) 基于神经网络的信用行为预测方法以及装置
CN113298546B (zh) 销量预测方法及装置、商品处理方法及装置
CN113569059A (zh) 目标用户识别方法及装置
CN111310995A (zh) 基于卷积神经网络的业务预测方法以及装置
CN117094501A (zh) 服装生产订单管理系统及其方法
Zhang et al. Enhancing Time Series Product Demand Forecasting with Hybrid Attention-Based Deep Learning Models
CN114066405B (zh) 数据处理方法及装置
CN115983497A (zh) 一种时序数据预测方法和装置、计算机设备、存储介质
Unadkat et al. Deep learning for financial prediction
CN117371493A (zh) 基于多尺度tcn的数据预测方法、系统、终端及存储介质
US20240161117A1 (en) Trigger-Based Electronic Fund Transfers
CN110633971A (zh) 资损估计方法以及装置
Burgos et al. Computational modeling with uncertainty of frequent users of e-commerce in Spain using an age-group dynamic nonlinear model with varying size population
CN115630985A (zh) 预测消费时间的方法以及装置
CN114565460A (zh) 一种基于延迟转化预测模型的信息推送方法及相关设备
Pandey et al. Time series forecasting and prediction of Walmart data using hybrid machine learning techniques
Ahmed et al. Comparison of Deep Learning Algorithms for Retail Sales Forecasting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination