Nothing Special   »   [go: up one dir, main page]

CN112381216A - 混合图神经网络模型的训练、预测方法和装置 - Google Patents

混合图神经网络模型的训练、预测方法和装置 Download PDF

Info

Publication number
CN112381216A
CN112381216A CN202110050410.7A CN202110050410A CN112381216A CN 112381216 A CN112381216 A CN 112381216A CN 202110050410 A CN202110050410 A CN 202110050410A CN 112381216 A CN112381216 A CN 112381216A
Authority
CN
China
Prior art keywords
graph
target
data
user
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110050410.7A
Other languages
English (en)
Other versions
CN112381216B (zh
Inventor
李厚意
张国威
曾馨檀
李勇勇
刘永超
黄斌
何昌华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ant Zhixin Hangzhou Information Technology Co ltd
Original Assignee
Ant Zhixin Hangzhou Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ant Zhixin Hangzhou Information Technology Co ltd filed Critical Ant Zhixin Hangzhou Information Technology Co ltd
Priority to CN202110050410.7A priority Critical patent/CN112381216B/zh
Publication of CN112381216A publication Critical patent/CN112381216A/zh
Application granted granted Critical
Publication of CN112381216B publication Critical patent/CN112381216B/zh
Priority to PCT/CN2022/071577 priority patent/WO2022152161A1/zh
Priority to US18/272,194 priority patent/US20240152732A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书提供一种混合图神经网络模型的训练方法，所述混合图神经网络模型包括编码函数和解码函数，所述方法包括：以训练样本中所有目标对应的实例以及所述实例的若干度邻居作为图中的点，基于所有实例的图数据，采用编码函数生成每个实例的图表示向量；对解码参数进行t个轮次的训练；在每个轮次，从训练样本中提取bs个目标，基于每个目标对应的实例的图表示向量、对应的非图数据，采用解码函数生成每个目标的预测量，并根据由本轮次bs个目标的预测量与标签量确定的本轮次的损失量优化解码参数；根据所述t个轮次的损失量优化编码参数；重复上述所有步骤直至满足预定训练终止条件。

Description

混合图神经网络模型的训练、预测方法和装置
技术领域
本说明书涉及数据处理技术领域，尤其涉及一种混合图神经网络的训练方法和装置、和一种混合图神经网络的预测方法和装置。
背景技术
图具有强大的表达能力，能够用来作为数据结构，对在各个领域运行的社会网络进行建模。图通常用来描述某些事物之间的某种特定关系，用点代表事物，用连接两点的线表示相应两个事物间具有这种关系。图神经网络（GNN，Graph Neural Networks）是在图域上运行的基于深度学习的算法，具有令人信服的性能和高解释性，已成为一种广泛应用的图形分析方法。
在很多应用场景中，机器学习任务的输入数据不适合表示为图域中的信息，例如具有时序关系的一系列数据。混合图神经网络模型结合了图神经网络算法和其他机器学习算法，能够在这些应用场景中大大提升预测的效果。
在采用某个点的样本对混合图神经网络模型进行训练时，或者采用混合图神经网络模型对某个点进行预测时，需要计算该点的k（k为自然数）度邻居。通常的方式是每次提取各个点的k度邻居并对其进行计算，由于各个点的k度邻居常常包含相同的点，这会导致大量冗余的重复运算，使得训练或预测的效率受到影响。
发明内容
有鉴于此，本说明书提供一种混合图神经网络模型的训练方法，所述混合图神经网络模型包括编码函数和解码函数，所述编码函数为带有编码参数的图神经网络算法及其组合，所述解码函数为带有解码参数的机器学习算法及其组合，所述方法包括：
以训练样本中所有目标对应的实例以及所述实例的若干度邻居作为图中的点，基于所有实例的图数据，采用编码函数生成每个实例的图表示向量；
对解码参数进行t个轮次的训练；在每个轮次，从训练样本中提取bs个目标，基于每个目标对应的实例的图表示向量、对应的非图数据，采用解码函数生成每个目标的预测量，并根据由本轮次bs个目标的预测量与标签量确定的本轮次的损失量优化解码参数；bs为自然数，t为大于1的自然数；
根据所述t个轮次的损失量优化编码参数；
重复上述所有步骤直至满足预定训练终止条件。
本说明书提供的一种混合图神经网络模型的预测方法，所述混合图神经网络模型包括编码函数和解码函数，所述编码函数为带有根据前述混合图神经网络模型的训练方法训练完毕的编码参数的图神经网络算法，所述解码函数为带有根据前述混合图神经网络模型的训练方法训练完毕的解码参数的机器学习算法，所述方法包括：
以所有待预测的目标对应的实例以及所述实例的若干度邻居作为图中的点，基于所有实例的图数据，采用编码函数生成每个实例的图表示向量；
基于与待预测的目标对应的实例的图表示向量、对应的非图数据，采用解码函数生成所述目标的预测量。
本说明书还提供了一种混合图神经网络模型的训练装置，所述混合图神经网络模型包括编码函数和解码函数，所述编码函数为带有编码参数的图神经网络算法及其组合，所述解码函数为带有解码参数的机器学习算法及其组合，所述装置包括：
训练图表示向量单元，用于以训练样本中所有目标对应的实例以及所述实例的若干度邻居作为图中的点，基于所有实例的图数据，采用编码函数生成每个实例的图表示向量；
解码参数训练单元，用于对解码参数进行t个轮次的训练；在每个轮次，从训练样本中提取bs个目标，基于每个目标对应的实例的图表示向量、对应的非图数据，采用解码函数生成每个目标的预测量，并根据由本轮次bs个目标的预测量与标签量确定的本轮次的损失量优化解码参数；bs为自然数，t为大于1的自然数；
编码参数训练单元，用于根据所述t个轮次的损失量优化编码参数；
训练循环单元，用于重复采用上述所有单元直至满足预定训练终止条件。
本说明书提供的一种混合图神经网络模型的预测装置，所述混合图神经网络模型包括编码函数和解码函数，所述编码函数为带有根据前述混合图神经网络模型的训练方法训练完毕的编码参数的图神经网络算法，所述解码函数为带有根据前述混合图神经网络模型的训练方法训练完毕的解码参数的机器学习算法，所述装置包括：
预测图表示向量单元，用于以所有待预测的目标对应的实例以及所述实例的若干度邻居作为图中的点，基于所有实例的图数据，采用编码函数生成每个实例的图表示向量；
预测量生成单元，用于基于与待预测的目标对应的实例的图表示向量、对应的非图数据，采用解码函数生成所述目标的预测量。
本说明书提供的一种计算机设备，包括：存储器和处理器；所述存储器上存储有可由处理器运行的计算机程序；所述处理器运行所述计算机程序时，执行上述混合图神经网络的训练方法所述的方法。
本说明书提供的一种计算机设备，包括：存储器和处理器；所述存储器上存储有可由处理器运行的计算机程序；所述处理器运行所述计算机程序时，执行上述混合图神经网络模型的预测方法所述的方法。
本说明书提供的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述混合图神经网络的训练方法所述的方法。
本说明书还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述混合图神经网络模型的预测方法所述的方法。
由以上技术方案可见，在本说明书混合图神经网络模型的训练方法和装置实施例中，由编码函数将实例的图数据转换为图表示向量，由解码函数基于图表示向量和对应于目标的非图数据生成训练目标的预测量，并根据预测量与标签量的差异来优化解码参数和编码参数，从而在编码参数未发生变化时一次性的将所有实例的图数据转换为图表示向量，避免了对图数据的冗余重复处理，提高了训练速度；同时，解码函数综合考虑了实例的图表示向量和非图数据，实现了混合图神经网络模型的高效训练。
在本说明书混合图神经网络模型的预测方法和装置实施例中，由编码函数一次性的将所有实例的图数据转换为图表示向量，由解码函数基于图表示向量和对应于目标的非图数据生成训练目标的预测量，从而避免了对图数据的冗余重复处理，提高了预测速度；同时，解码函数综合考虑了实例的图表示向量和非图数据，实现了混合图神经网络模型的高效预测。
附图说明
图1是本说明书实施例一中一种混合图神经网络模型的训练方法的流程图；
图2是本说明书实施例一的两种示例性实现方式中混合图神经网络模型训练系统的逻辑结构图；
图3是本说明书实施例二中一种混合图神经网络模型的预测方法的流程图；
图4是本说明书实施例二的两种示例性实现方式中混合图神经网络模型预测系统的逻辑结构图；
图5是运行本说明书实施例的设备的一种硬件结构图；
图6是本说明书实施例中一种混合图神经网络模型的训练装置的逻辑结构图；
图7是本说明书实施例中一种混合图神经网络模型的预测装置的逻辑结构图。
具体实施方式
本说明书的各个实施例中，混合图神经网络模型中的图以实例为点，以实例之间的关系作为边来构建。实例可以是实际应用场景中的任何主体，如用户、商品、店铺、供应商、站点、配送员、网页、用户终端、建筑物等。混合图神经网络模型用来预测与实例相关的状态、行为等。作为预测的目标，状态可以是该实例的类别、该实例的属性等能够描述该主体的信息；行为可以是由该实例实施的行为，也可以是以该实例为实施对象的行为。此外，还可以将第一种主体与第二种主体的匹配程度来作为预测的目标，在这种情形下，可以将其中的一种主体作为实例，另一种作为实例的关联对象。
需要说明的是，本说明书各个实施例中混合图神经网络模型预测的目标是与确定的实例相关的目标，根据预测的目标即可知道在预测该目标时会涉及到的所有图中的实例。混合图神经网络模型的目标对应于至少一个实例。
例如，某个混合图神经网络模型用来对某个用户未来若干天的消费金额进行预测，则这个混合图神经网络模型可以以用户为实例构图，其预测目标是某个用户未来若干天的消费金额，目标对应于一个确定的用户；第二个例子，某个混合图神经网络模型用来对某个网页被其他网页引用的次数进行预测，则这个混合图神经网络模型以网页为实例，其目标对应于一个确定的网页；第三个例子，某个混合图神经网络模型采用一个用户过去曾经点击过的若干个商品来对该用户对某个待推荐商品的感兴趣程度进行预测，则这个混合图神经网络模型以商品为实例，其预测目标是某个用户与目标商品的匹配程度，其目标对应的实例包括目标商品和该用户曾经点击过的若干个商品。
本说明书的各个实施例中，混合图神经网络模型包括编码函数和解码函数。其中，编码函数可以是各种图神经网络算法，也可以是一种到多种图神经网络算法的组合；解码函数可以是包括图神经网络在内的任意的机器学习算法，也可以是一种到多种上述各种机器学习算法的组合，例如可以是DNN（Deep Neural Networks，深度神经网络）、RNN（Recurrent Neural Network，循环神经网络）、LSTM（Long short-term memory，长短期记忆网络）、Wide&Deep（广度和深度）等算法以及这些算法的组合。
混合图神经网络模型的输入是与对应于目标的实例相关的各种数据，这些数据中，可以将适合以图的方式来表达、也适合也图神经网络算法来迭代或处理的数据作为实例的图数据，输入到编码函数，经编码函数处理或者说由编码函数对图数据进行编码后，输出实例的图表示向量；而输入图神经网络模型的数据中除图数据之外的其他数据，称为对应于目标的非图数据，可以与实例的图表示向量一并作为解码函数的输入，经解码函数处理后，输出目标的预测量。解码函数的输出即为混合图神经网络模型的输出，所输出的预测量可以是一个值，也可以是一个向量，不做限定。
本说明书的各个实施例中，将编码函数中使用的可学习参数称为编码参数，将解码函数中使用的可学习参数称为解码参数；模型的训练过程即是通过修改可学习参数，来使得模型的输出更加接近训练样本中模型目标的标签量的过程。
在很多应用场景中，采用混合图神经网络模型对目标进行预测时，要考虑目标对应的实例的属性信息和与实例相关的行为信息。从实例的属性信息可以得到实例自身的属性数据、与其他实例的关系数据；从与实例相关的行为信息可以得到与其他实例的关系数据、以及由与实例相关的历史行为记录得出的行为序列信息（即与实例相关的时序数据）。
在以实例作为图中的点时，实例与其他实例的关系数据可以方便的表达为图中的边，适合以图神经网络算法来处理，因此，与其他实例的关系数据通常可以以图中边的属性的形式，作为编码函数的输入。而与实例相关的时序数据则不适合以图的形式来表达，通常会作为解码函数的输入。
对实例自身的属性数据，虽然可以方便的表达为图中点的属性，但是并不是所有的属性数据都适合由图神经网络算法来处理时，例如，实例自身属性数据中的稀疏数据，就更适合作为解码函数的输入。此外，在某些应用场景中，有些实例自身的部分属性数据作为解码函数的输入时，对目标的预测有更好的效果。本说明书的实施例中，将实例自身的属性数据中输入编码函数的部分称为实例的自身点数据，将实例自身的属性数据中输入解码函数的部分称为实例的自身非点数据。实例的自身稠密数据通常会作为实例的自身点数据，而实例的自身稀疏数据则既可以作为实例的自身点数据，也可以作为实例的自身非点数据。在一些应用场景中，可以将实例的自身稠密数据作为实例的自身点数据，将实例的自身稀疏数据作为实例的自身非点数据；在另外一些应用场景中，也可以将一部分实例的自身稠密数据作为实例的自身点数据，将另一部分实例的自身稠密数据、和实例的自身稀疏数据作为实例的自身非点数据。
其中，稠密数据是可以用一个值或低维度向量表示的数据；而稀疏数据则是以维度很高、但只有少量元素有值的向量来表示的数据。例如，假设以用户为实例，用户的账户余额、账龄都可以表示为一个值，是稠密数据；用户所拥有的银行卡则是稀疏数据，在全世界几十万种银行卡中，一个用户通常只有几张银行卡，以一个维度为几十万但只有几个元素（即用户所拥有的银行卡对应的元素）的值为1的向量来表示。
本说明书的实施例一提出一种新的混合图神经网络模型的训练方法，在编码参数未发生变化时采用编码函数一次性计算所有实例的图表示向量，以实例的图表示向量和与实例相关的非图数据为输入采用解码函数计算训练目标的预测量，基于预测量和标签量优化编码参数及解码参数，避免了对实例图数据的冗余重复计算，降低运算量并加快了训练速度，同时解码函数综合考虑了图数据和非图数据对预测量的影响，实现了混合图神经网络模型的高效训练。
本说明书的实施例一可以运行在任何具有计算和存储能力的设备上，如手机、平板电脑、PC（Personal Computer，个人电脑）、笔记本、服务器等设备；还可以由运行在两个或两个以上设备的逻辑节点来实现本说明书实施例一中的各项功能。
本说明书的实施例一中，混合图神经网络模型的训练方法的流程如图1所示。实施例一中的训练为有监督学习，训练样本中包括混合图神经网络模型的输入数据和目标的标签量（期望的输出），输入数据包括输入编码函数的实例的图数据、和输入解码函数的对应于目标的非图数据。
在训练开始前，编码函数中的编码参数、解码函数中的解码参数被初始化为初始值。本说明书的实施例一中，可以采用任意的方式来设置编码参数和解码参数的初始值。
步骤110，以训练样本中所有目标对应的实例以及该些实例的若干度邻居作为图中的点，基于所有实例的图数据，采用编码函数生成每个实例的图表示向量。
对于编码函数所采用的图神经网络算法，训练样本中每个目标对应的每个实例是图中的一个点，图中点的集合不仅包括训练样本中所有目标对应的所有实例，还可以包括可能成为上述每个实例的若干度邻居的其他实例。例如，一个网络购物平台的商品有10亿个，假设以商品作为混合图神经网络模型的实例，训练样本中包括1亿个商品，而其他9亿个商品可能成为训练样本中1亿个商品的1度到k度邻居，则该混合图神经网络模型的图中点的集合可以是这10亿个商品。
实例的图数据包括以下的一项到多项：实例自身属性数据中的自身点数据、与其他实例的关系数据。其中，实例的自身点数据用来表达图中点的特性，与其他实例的关系数据用来表达图中边的特性（不同点之间的关联）。与其他实例的关系数据可以是点与某阶邻居之间的关系数据，也可以是点与若干个各阶邻居之间的关系数据的组合，不做限定。
采用编码函数的图神经网络算法，可以将实例的图数据转换为实例的图表示向量。本说明书的实施例一中，对于既定的编码参数，一次性的根据所有实例的图数据，生成图中每个实例的图表示向量；在编码参数发生变化（被优化）后，再重复这一过程，采用变化后的编码参数一次性生成每个实例新的图表示向量；直到训练结束。
步骤120，对解码参数进行t（t为大于1的自然数）个轮次的训练；在每个轮次，从训练样本中提取bs（bs为自然数）个目标，基于每个目标对应的实例的图表示向量、对应的非图数据，采用解码函数生成每个目标的预测量，并根据由本轮次bs个目标的预测量与标签量确定的本轮次的损失量优化解码参数。
本说明书的实施例一中，对于既定的编码参数，将对解码参数进行t个轮次的训练。换言之，每次优化编码参数前，解码参数将被优化t次。
在训练解码参数的每个轮次，从训练样本中提取bs个目标。如前所述，每个目标均有各自对应的确定的一个到多个实例。在得到某个目标对应的实例后，即可将对应实例的图表示向量、对应该目标的非图数据作为解码函数的输入，解码函数的输出即为该目标的预测量。解码函数的输入中，对应于目标的非图数据可以是对应于目标的实例的自身非点数据、与该实例或该些实例相关的时序数据中的一项到多项。
在得到本轮次bs个目标的预测量后，按照每个目标的预测量以及训练样本中该目标的标签量，可以得到本轮次提取的bs个目标的损失量，并基于本轮次的损失量优化解码参数。可以根据实际应用场景的特点选择任意的损失函数来计算bs个目标的本轮次损失量，如可以采用交叉熵损失函数、最小二乘损失函数、绝对误差损失函数、或均方误差损失函数等；类似的，也可以采用任意的优化函数来根据本轮次的损失量修改解码参数，如梯度下降优化器，Adam优化器等；均不做限定。
例如，可以采用预定的损失函数基于每个目标的预测量与标签量计算本轮次每个目标的损失量，再根据bs个目标的损失量得到本次轮的损失量；计算本轮次的损失量对于解码参数的梯度，根据计算所得的梯度对解码参数进行优化。
在进行t个轮次的解码参数训练后，进入步骤130。
步骤130：根据上述t个轮次的损失量优化编码参数。
可以根据实际应用场景的特点选择任意的优化函数来根据t个轮次的损失量修改编码参数，不做限定。
例如，可以先基于每个轮次的损失量，计算该轮次损失量对该轮次bs个目标对应实例的图表示向量的梯度，这样t个轮次的损失量共可以得到
Figure DEST_PATH_IMAGE002
个损失量对图表示向量的梯度；然后采用这
Figure 994419DEST_PATH_IMAGE002
个损失量对图表示向量的梯度来优化编码参数。
上述例子中，在采用
Figure 324906DEST_PATH_IMAGE002
个损失量对图表示向量的梯度来优化编码参数时，可以先在每个轮次bs个目标对应的各个实例的图表示向量上分别累积t个轮次的梯度，再由这些图表示向量上累积的梯度确定损失量对编码参数的梯度，最后采用损失量对编码参数的梯度优化编码参数。这种优化方式中，当不同轮次的目标所对应的实例有重复时，重复实例的图表示向量上将累积超过1个轮次的梯度。具体的累积方式不做限定，例如可以是对梯度求和，也可以是梯度的加权和等等。
步骤140：重复上述所有步骤直至满足预定训练终止条件。
在完成对编码参数的优化后，判断是否满足预定训练终止条件。如果已经满足，则对混合图神经网络模型的训练完成，训练流程结束。如果尚未满足预定训练终止条件，则重复执行步骤110至130。
具体而言，在尚未满足预定终止条件时，转步骤110，按照更新后的编码参数计算所有实例的图表示向量，并采用新计算得出的图表示向量执行步骤120中t个轮次的解码参数训练、和步骤130中的编码参数优化。
本说明书的实施例一中可以采用任意的预定训练终止条件。例如，可以将优化R（R为大于1的自然数）次编码参数作为预定训练终止条件，这样将在步骤110至130被重复执行R次后完成对混合图神经网络模型的训练。
以下给出本说明书实施例一的第一种示例性实现方式。本第一种示例性实现方式中，混合图神经网络模型用来对实例进行分类。训练样本中对应于所有目标的所有实例、以及可能成为这些实例的若干度邻居的其他实例组成点集合
Figure DEST_PATH_IMAGE004
，所有点之间的关系组成边集合
Figure DEST_PATH_IMAGE006
，从而构成图
Figure DEST_PATH_IMAGE008
。实例的图数据包括实例的自身点数据和与其他实例的关系数据，对应于目标的非图数据包括实例自身非点数据和根据实例的历史行为信息生成的时序数据。
Figure DEST_PATH_IMAGE010
为所有实例的自身点数据，
Figure DEST_PATH_IMAGE012
为所有实例与其他实例的关系数据，
Figure DEST_PATH_IMAGE014
为图
Figure DEST_PATH_IMAGE016
中点与边拓扑关系的邻接矩阵，
Figure DEST_PATH_IMAGE018
为编码函数，
Figure DEST_PATH_IMAGE020
为编码参数，
Figure DEST_PATH_IMAGE022
为解码函数，
Figure DEST_PATH_IMAGE024
为解码参数。
每个训练样本的目标包括目标标识
Figure DEST_PATH_IMAGE026
和目标的标签量，目标
Figure DEST_PATH_IMAGE028
的标签量为
Figure DEST_PATH_IMAGE030
。目标标识
Figure 763803DEST_PATH_IMAGE026
表示该目标对应的实例，目标
Figure 662489DEST_PATH_IMAGE028
对应的实例为
Figure DEST_PATH_IMAGE032
；目标
Figure 825486DEST_PATH_IMAGE028
的标签量
Figure 569451DEST_PATH_IMAGE030
表示目标
Figure 947343DEST_PATH_IMAGE028
所属的类别。实例
Figure 295891DEST_PATH_IMAGE032
的图表示向量为
Figure DEST_PATH_IMAGE034
、自身非点数据为
Figure DEST_PATH_IMAGE036
，对应于目标
Figure 182070DEST_PATH_IMAGE028
的时序数据为
Figure DEST_PATH_IMAGE038
。
第一种示例性实现方式中，混合图神经网络模型训练系统的逻辑结构如图2所示。训练系统包括训练编码器和训练解码器，训练编码器包括编码函数及编码参数模块、图表示向量计算模块、图表示向量存储模块、训练编码器梯度计算与参数优化模块、和梯度接收模块；训练解码器包括解码函数及解码参数模块、图表示向量查询模块、预测量与损失量计算模块、训练解码器梯度计算与参数优化模块、和梯度发送模块。其中，编码函数及编码参数模块中保存有编码函数
Figure 323201DEST_PATH_IMAGE018
和编码参数
Figure 290020DEST_PATH_IMAGE020
，解码函数及解码参数模块中保存有解码函数
Figure 655143DEST_PATH_IMAGE022
和解码参数
Figure 74623DEST_PATH_IMAGE024
。训练系统以如下步骤运行：
步骤S02：开始训练时，将编码函数及编码参数模块中的编码参数
Figure 550603DEST_PATH_IMAGE020
、和解码函数及解码参数模块中的解码参数
Figure 938640DEST_PATH_IMAGE024
置为初始值，置编码参数优化次数
Figure DEST_PATH_IMAGE040
为0，置解码参数优化次数
Figure DEST_PATH_IMAGE042
为0。
步骤S04：在训练编码器中，基于当前的编码参数
Figure 536981DEST_PATH_IMAGE020
，由图表示向量计算模块采用式1一次性计算得出点集合
Figure 443757DEST_PATH_IMAGE004
中所有实例（包括训练样本中的所有实例及其若干度邻居）的图表示向量
Figure DEST_PATH_IMAGE044
：
Figure DEST_PATH_IMAGE046
步骤S06：在训练编码器中，由图表示向量存储模块以实例的标识为索引，保存每个实例的标识
Figure 287210DEST_PATH_IMAGE032
与该实例的图表示向量
Figure DEST_PATH_IMAGE048
的对应关系。
步骤S08：在训练解码器中，从训练样本的目标集合中取出bs个目标。对每个取出的目标
Figure 87676DEST_PATH_IMAGE028
（
Figure DEST_PATH_IMAGE050
），采用由图表示向量查询模块从训练编码器的图表示向量存储模块中查找得到的目标
Figure 263442DEST_PATH_IMAGE028
对应实例
Figure 15104DEST_PATH_IMAGE032
的图表示向量
Figure 973833DEST_PATH_IMAGE048
，与实例
Figure 628805DEST_PATH_IMAGE032
的自身非点数据
Figure 381998DEST_PATH_IMAGE036
、对应于目标
Figure 388000DEST_PATH_IMAGE028
的时序数据
Figure 884840DEST_PATH_IMAGE038
，拼接为一组解码函数
Figure 659898DEST_PATH_IMAGE022
的输入
Figure DEST_PATH_IMAGE052
。
步骤S10：在训练解码器中，预测量与损失量计算模块基于当前的解码参数
Figure 413353DEST_PATH_IMAGE024
，由式2得出步骤S08中取出的bs个目标的预测量
Figure DEST_PATH_IMAGE054
。设损失函数为
Figure DEST_PATH_IMAGE056
，预测量与损失量计算模块采用式3得出本轮次（即轮次
Figure 844334DEST_PATH_IMAGE042
）的损失量
Figure DEST_PATH_IMAGE058
。
Figure DEST_PATH_IMAGE060
Figure DEST_PATH_IMAGE062
步骤S12：在训练解码器中，训练解码器梯度计算与参数优化模块根据本轮次的损失量
Figure 379088DEST_PATH_IMAGE058
，由式4得到本轮次的损失量对解码参数的梯度，再根据本轮次的损失量对解码参数的梯度优化解码参数，并将解码函数及解码参数模块中的解码参数更新为优化后的值。如果采用梯度下降法对解码参数进行优化，则可以由式5得出优化后的解码参数。式5中，
Figure DEST_PATH_IMAGE064
为梯度下降法中的学习率。
Figure DEST_PATH_IMAGE066
Figure DEST_PATH_IMAGE068
步骤S14：在训练解码器中，训练解码器梯度计算与参数优化模块采用式6计算得到本轮次的损失量
Figure 336549DEST_PATH_IMAGE058
对bs个图表示向量的梯度，并将计算得出的bs个梯度向量送入梯度发送模块。
Figure DEST_PATH_IMAGE070
步骤S16：在训练解码器中，梯度发送模块将bs个梯度向量发送给训练编码器的梯度接收模块。在训练编码器中，训练编码器的梯度接收模块保存收到的bs个梯度向量。
步骤S18：将
Figure 119959DEST_PATH_IMAGE042
增加1。如果
Figure 710340DEST_PATH_IMAGE042
不能整除t，转步骤S08；如果
Figure 470355DEST_PATH_IMAGE042
能够整除t，执行步骤S20。
步骤S20：在训练编码器中，训练编码器梯度计算与参数优化模块从梯度接收模块读取保存的
Figure 452961DEST_PATH_IMAGE002
个梯度向量，采用式7计算t个轮次的损失量对编码参数的梯度
Figure DEST_PATH_IMAGE072
，再根据
Figure 312333DEST_PATH_IMAGE072
优化编码参数。如果采用梯度下降法对编码参数进行优化，则可以由式8得出优化后的编码参数。
Figure DEST_PATH_IMAGE074
Figure DEST_PATH_IMAGE076
步骤S22：将
Figure 780223DEST_PATH_IMAGE040
增加1。如果
Figure DEST_PATH_IMAGE078
，则转步骤S04，否则执行步骤S24。
步骤S24：训练结束。此时，编码函数及编码参数模块中的编码参数
Figure DEST_PATH_IMAGE080
即为完成训练的编码参数，解码函数及解码参数模块中的解码参数
Figure DEST_PATH_IMAGE082
即为完成训练的解码参数。
以下给出本说明书实施例一的第二种示例性实现方式。本第二种示例性实现方式中，混合图神经网络模型用来预测实例与对象的匹配程度。每个训练样本中包括对某个对象
Figure DEST_PATH_IMAGE084
的目标实例
Figure DEST_PATH_IMAGE086
、和该对象
Figure 110972DEST_PATH_IMAGE084
之前曾经有过历史行为的N个实例
Figure DEST_PATH_IMAGE088
，（
Figure DEST_PATH_IMAGE090
）。这样，本第二种示例性实现方式中，每个目标对应的实例包括
Figure DEST_PATH_IMAGE092
个，即
Figure 750682DEST_PATH_IMAGE086
和
Figure DEST_PATH_IMAGE094
。训练样本还包括目标标识
Figure 780955DEST_PATH_IMAGE026
和目标的标签量，目标
Figure 470562DEST_PATH_IMAGE028
的标签量为
Figure 651008DEST_PATH_IMAGE030
，目标
Figure 109671DEST_PATH_IMAGE028
的对象
Figure 982949DEST_PATH_IMAGE084
的表示向量为
Figure DEST_PATH_IMAGE096
。
训练样本中对应于所有目标的所有实例、以及可能成为这些实例的若干度邻居的其他实例组成点集合
Figure 130159DEST_PATH_IMAGE004
，所有点之间的关系组成边集合
Figure 973350DEST_PATH_IMAGE006
，从而构成图
Figure 427465DEST_PATH_IMAGE008
。实例的图数据包括实例的自身点数据和与其他实例的关系数据，对应于目标的非图数据包括目标的对象的表示向量。
Figure 330699DEST_PATH_IMAGE010
为所有实例的自身点数据，
Figure 870265DEST_PATH_IMAGE012
为所有实例与其他实例的关系数据，
Figure 517147DEST_PATH_IMAGE014
为图
Figure 91348DEST_PATH_IMAGE016
中点与边拓扑关系的邻接矩阵，
Figure 40849DEST_PATH_IMAGE018
为编码函数，
Figure 425301DEST_PATH_IMAGE020
为编码参数，
Figure 751240DEST_PATH_IMAGE022
为解码函数，
Figure 39002DEST_PATH_IMAGE024
为解码参数。
第二种示例性实现方式中，混合图神经网络模型训练系统的逻辑结构如图2所示。训练系统以如下步骤运行：
步骤S32：开始训练时，将编码函数及编码参数模块中的编码参数
Figure 159404DEST_PATH_IMAGE020
、和解码函数及解码参数模块中的解码参数
Figure 798196DEST_PATH_IMAGE024
置为初始值，置编码参数优化次数
Figure 662247DEST_PATH_IMAGE040
为0，置解码参数优化次数
Figure 804515DEST_PATH_IMAGE042
为0。
步骤S34：在训练编码器中，基于当前的编码参数
Figure 361399DEST_PATH_IMAGE020
，由图表示向量计算模块采用式1一次性计算得出点集合
Figure 723372DEST_PATH_IMAGE004
中所有实例（包括训练样本中的所有实例及其若干度邻居）的图表示向量
Figure 391114DEST_PATH_IMAGE044
：
步骤S36：在训练编码器中，由图表示向量存储模块以实例的标识为索引，保存每个实例的标识
Figure 387889DEST_PATH_IMAGE032
与该实例的图表示向量
Figure 115673DEST_PATH_IMAGE048
的对应关系。
步骤S38：在训练解码器中，从训练样本的目标集合中取出bs个目标。对每个取出的目标
Figure 463478DEST_PATH_IMAGE028
（
Figure 934911DEST_PATH_IMAGE050
），采用由图表示向量查询模块从训练编码器的图表示向量存储模块中查找得到的目标
Figure 51771DEST_PATH_IMAGE028
对应的实例
Figure 950457DEST_PATH_IMAGE032
、
Figure 12654DEST_PATH_IMAGE094
的图表示向量
Figure 22199DEST_PATH_IMAGE048
、
Figure DEST_PATH_IMAGE098
，与对应于目标
Figure 727987DEST_PATH_IMAGE028
的对象的表示向量
Figure 797574DEST_PATH_IMAGE096
，拼接为一组解码函数
Figure 119971DEST_PATH_IMAGE022
的输入
Figure DEST_PATH_IMAGE100
。
步骤S40：在训练解码器中，预测量与损失量计算模块基于当前的解码参数
Figure 261102DEST_PATH_IMAGE024
，由式9得出步骤S38中取出的bs个目标的预测量
Figure 227921DEST_PATH_IMAGE054
。设损失函数为
Figure 828929DEST_PATH_IMAGE056
，预测量与损失量计算模块采用式3得出本轮次（即轮次
Figure 513988DEST_PATH_IMAGE042
）的损失量
Figure 989969DEST_PATH_IMAGE058
。
Figure DEST_PATH_IMAGE102
步骤S42：在训练解码器中，训练解码器梯度计算与参数优化模块根据本轮次的损失量
Figure 732666DEST_PATH_IMAGE058
，由式4得到本轮次的损失量对解码参数的梯度，再根据本轮次的损失量对解码参数的梯度优化解码参数，并将解码函数及解码参数模块中的解码参数更新为优化后的值。
步骤S44：在训练解码器中，训练解码器梯度计算与参数优化模块采用式6和式10计算得到本轮次的损失量
Figure 144055DEST_PATH_IMAGE058
对
Figure DEST_PATH_IMAGE104
个图表示向量的梯度，并将计算得出的
Figure 142842DEST_PATH_IMAGE104
个梯度向量送入梯度发送模块。
Figure DEST_PATH_IMAGE106
步骤S46：在训练解码器中，梯度发送模块将
Figure 360197DEST_PATH_IMAGE104
个梯度向量发送给训练编码器的梯度接收模块。在训练编码器中，训练编码器的梯度接收模块保存收到的
Figure 426242DEST_PATH_IMAGE104
个梯度向量。
步骤S48：将
Figure 602008DEST_PATH_IMAGE042
增加1。如果
Figure 996080DEST_PATH_IMAGE042
不能整除t，转步骤S38；如果
Figure 954809DEST_PATH_IMAGE042
能够整除t，执行步骤S50。
步骤S50：在训练编码器中，训练编码器梯度计算与参数优化模块从梯度接收模块读取保存的
Figure DEST_PATH_IMAGE108
个梯度向量，采用式11计算t个轮次的损失量对编码参数的梯度
Figure 845667DEST_PATH_IMAGE072
，再根据
Figure 723493DEST_PATH_IMAGE072
优化编码参数。
Figure DEST_PATH_IMAGE110
步骤S52：将
Figure 667178DEST_PATH_IMAGE040
增加1。如果
Figure 23073DEST_PATH_IMAGE078
，则转步骤S34，否则执行步骤S54。
步骤S54：训练结束。此时，编码函数及编码参数模块中的编码参数
Figure 673498DEST_PATH_IMAGE080
即为完成训练的编码参数，解码函数及解码参数模块中的解码参数
Figure 226620DEST_PATH_IMAGE082
即为完成训练的解码参数。
可见，本说明书的实施例一中，在编码参数未发生变化时采用编码函数一次性计算所有实例的图表示向量，由解码函数基于图表示向量和对应于目标的非图数据生成训练目标的预测量，依据预测量和标签量优化编码参数及解码参数，避免了对图数据的冗余重复处理，降低运算量并加快了训练速度，解码函数综合考虑了实例的图表示向量和非图数据，实现了混合图神经网络模型的高效训练。
本说明书的实施例二提出一种新的混合图神经网络模型的预测方法，采用编码函数一次性计算所有实例的图表示向量，以实例的图表示向量和对应于目标的非图数据为输入采用解码函数计算待预测目标的预测量，避免了对实例图数据的冗余重复计算，降低运算量并加快了预测速度，同时解码函数综合考虑了图数据和非图数据对预测量的影响，实现了混合图神经网络模型的高效预测。
本说明书的实施例二可以运行在任何具有计算和存储能力的设备上，如手机、平板电脑、PC、笔记本、服务器等设备；还可以由运行在两个或两个以上设备的逻辑节点来实现本说明书实施例一中的各项功能。
本说明书的实施例二中，混合图神经网络模型是采用本说明书实施例一的训练方法训练完毕的混合图神经网络模型，也就是说，实施例二的混合图神经网络模型中，编码函数是包括由本说明书实施例一的方法训练完毕的编码参数的图神经网络算法，解码函数是包括由本说明书实施例一的方法训练完毕的解码参数的机器学习算法。混合图神经网络模型的输入数据包括输入编码函数的实例的图数据和输入解码函数的对应于目标的非图数据。
本说明书的实施例二中，混合图神经网络模型的预测方法的流程如图3所示。如前所述，混合图神经网络模型的每个待预测的目标均对应于一个到多个实例。
步骤310：以所有待预测的目标对应的实例以及该些实例的若干度邻居作为图中的点，基于所有实例的图数据，采用编码函数生成每个实例的图表示向量。
对于编码函数所采用的图神经网络算法，训练样本中每个目标对应的每个实例是图中的一个点，图中点的集合不仅包括训练样本中所有目标对应的所有实例，还包括可能成为上述每个实例的若干度邻居的其他实例。
实例的图数据包括以下的一项到多项：实例自身属性数据中的自身点数据、与其他实例的关系数据。其中，实例的自身点数据用来表达图中点的特性，与其他实例的关系数据用来表达图中边的特性（不同点之间的关联）。与其他实例的关系数据可以是点与某阶邻居之间的关系数据，也可以是点与若干个各阶邻居之间的关系数据的组合，不做限定。
编码函数采用训练完毕的图神经网络算法，根据所有实例的图数据，一次性的为图中每个实例生成其图表示向量。
步骤320：基于与待预测的目标对应的实例的图表示向量、对应的非图数据，采用解码函数生成所述目标的预测量。
在生成所有实例的图表示向量后，对于某个或某些待预测的目标，可以将各个目标对应的实例的图表示向量、对应的非图数据输入训练完毕的解码函数，解码函数的输出即是各个目标的预测量。解码函数的输入中，对应于目标的非图数据可以是实例的自身非点数据、与对应于目标的实例相关的时序数据中的一项到多项。
在一些应用场景中，待预测目标的数量比较大。此时可以在每个轮次对ps（ps为自然数）个目标进行预测，直到完成所有目标的预测。具体而言，在每个轮次，可以从待预测的目标集合中提取ps个目标；对所提取的ps个目标，分别将每个目标对应的实例的图表示向量、对应的非图数据输入到解码函数，由解码函数的机器学习算法得到这ps个目标中每个目标的预测量；然后将本轮次提取的ps个目标从目标集合中删除，如果目标集合不为空，则继续进行下一个轮次，提取ps个目标进行预测，直到目标集合为空。需要说明的是，目标集合为空前的最后一个轮次，所提取的目标数量可能小于ps。
以下给出本说明书实施例二的第一种示例性实现方式。本第一种示例性实现方式中的图神经网络模型是经由本说明书实施例一的第一种示例性实现方式训练完成的图神经网络模型，因此，本第一种示例性实现方式中图神经网络模型用来对实例进行分类，其编码函数
Figure 595284DEST_PATH_IMAGE018
、解码函数
Figure 20449DEST_PATH_IMAGE022
、实例的图数据、对应于目标的非图数据与实施例一的第一种示例性实现方式中相同，编码参数为
Figure 525380DEST_PATH_IMAGE080
，解码参数为
Figure 745009DEST_PATH_IMAGE082
。
本第一种示例性实现方式中，所有待预测目标对应的实例以及这些实例的若干度邻居组成点集合
Figure 600969DEST_PATH_IMAGE004
，所有点之间的关系组成边集合
Figure 298667DEST_PATH_IMAGE006
，从而构成图
Figure 923683DEST_PATH_IMAGE008
。
Figure 815678DEST_PATH_IMAGE010
为所有实例的自身点数据，
Figure 893355DEST_PATH_IMAGE012
为所有实例与其他实例的关系数据，
Figure 801269DEST_PATH_IMAGE014
为图
Figure 405425DEST_PATH_IMAGE016
中点与边拓扑关系的邻接矩阵。每个待预测的目标包括目标标识，目标
Figure 842223DEST_PATH_IMAGE028
对应的实例为
Figure 531830DEST_PATH_IMAGE032
，实例
Figure 446697DEST_PATH_IMAGE032
的图表示向量为
Figure 170939DEST_PATH_IMAGE034
、自身非点数据为
Figure 778638DEST_PATH_IMAGE036
、时序数据为
Figure 454076DEST_PATH_IMAGE038
。
本第一种示例性实现方式中，混合图网络神经网络模型预测系统的逻辑结构如图4所示。预测系统包括预测编码器和预测解码器，预测编码器包括编码函数及编码参数模块、图表示向量计算模块、和图表示向量存储模块；预测解码器包括解码函数及解码参数模块、图表示向量查询模块、和预测量计算模块。其中，编码函数及编码参数模块中保存有编码函数
Figure 172634DEST_PATH_IMAGE018
和完成训练的编码参数
Figure 751383DEST_PATH_IMAGE080
，解码函数及解码参数模块中保存有解码参数
Figure 795562DEST_PATH_IMAGE022
和完成训练的解码参数
Figure 459761DEST_PATH_IMAGE082
。预测系统以如下步骤运行：
步骤S62：在预测编码器中，采用编码参数
Figure 982010DEST_PATH_IMAGE080
，由图表示向量计算模块采用式12一次性计算得出图中所有的点（包括所有待预测实例及其若干度邻居）的图表示向量
Figure DEST_PATH_IMAGE112
：
Figure DEST_PATH_IMAGE114
步骤S64：在预测编码器中，由图表示向量存储模块以实例的标识为索引，保存每个实例的标识
Figure 41364DEST_PATH_IMAGE032
与该实例的图表示向量
Figure 990865DEST_PATH_IMAGE034
的对应关系。
步骤S66：令变量
Figure DEST_PATH_IMAGE116
。
步骤S68：在预测解码器中，从待预测目标的集合中取出
Figure DEST_PATH_IMAGE118
个目标（如果目标集合的目标总数不足
Figure DEST_PATH_IMAGE120
，则取出剩余的全部目标并将
Figure 673519DEST_PATH_IMAGE118
的值修改为目标集合的目标总数）。对每个取出的目标
Figure 999458DEST_PATH_IMAGE028
（
Figure DEST_PATH_IMAGE122
），采用由图表示向量查询模块从预测编码器的图表示向量存储模块中查找得到的目标
Figure 272175DEST_PATH_IMAGE028
对应实例
Figure 517212DEST_PATH_IMAGE032
的图表示向量
Figure 296949DEST_PATH_IMAGE034
，与实例
Figure 285633DEST_PATH_IMAGE032
的自身非点数据为
Figure 303268DEST_PATH_IMAGE036
、时序数据为
Figure 984785DEST_PATH_IMAGE038
，拼接为一组解码函数
Figure 720660DEST_PATH_IMAGE022
的输入
Figure DEST_PATH_IMAGE124
。
步骤S70：在预测解码器中，预测量计算模块采用解码参数
Figure 217762DEST_PATH_IMAGE082
，由式13得出步骤S68中取出的本轮次
Figure 621062DEST_PATH_IMAGE118
个目标的预测量
Figure DEST_PATH_IMAGE126
。
Figure DEST_PATH_IMAGE128
步骤S72：从待预测的目标集合中删除本轮次取出的
Figure 4639DEST_PATH_IMAGE118
个目标，如果目标集合为空，则预测结束；如果目标集合不为空，则转步骤S68。
以下给出本说明书实施例二的第二种示例性实现方式。本第二种示例性实现方式中的图神经网络模型是经由本说明书实施例一的第二种示例性实现方式训练完成的图神经网络模型，因此，本第二种示例性实现方式中图神经网络模型用来预测实例与对象的匹配程度，其编码函数
Figure 86864DEST_PATH_IMAGE018
、解码函数
Figure 823876DEST_PATH_IMAGE022
、实例的图数据、对应于目标的非图数据与实施例一的第二种示例性实现方式中相同，编码参数为
Figure 439272DEST_PATH_IMAGE080
，解码参数为
Figure 72379DEST_PATH_IMAGE082
。
本第二种示例性实现方式中，每个待预测的目标包括目标标识，目标
Figure 907479DEST_PATH_IMAGE028
对应的实例包括
Figure 244920DEST_PATH_IMAGE092
个，即
Figure 91653DEST_PATH_IMAGE086
和
Figure 285874DEST_PATH_IMAGE094
，实例
Figure 218058DEST_PATH_IMAGE032
的图表示向量为
Figure 657392DEST_PATH_IMAGE034
，目标
Figure 624211DEST_PATH_IMAGE028
的对象
Figure 723754DEST_PATH_IMAGE084
的表示向量为
Figure 2288DEST_PATH_IMAGE096
。
本第二种示例性实现方式中，所有待预测目标对应的实例以及这些实例的若干度邻居组成点集合
Figure 619215DEST_PATH_IMAGE004
，所有点之间的关系组成边集合
Figure 565174DEST_PATH_IMAGE006
，从而构成图
Figure 710984DEST_PATH_IMAGE008
。
Figure 246789DEST_PATH_IMAGE010
为所有实例的自身点数据，
Figure 401827DEST_PATH_IMAGE012
为所有实例与其他实例的关系数据，
Figure 202292DEST_PATH_IMAGE014
为图
Figure 784583DEST_PATH_IMAGE016
中点与边拓扑关系的邻接矩阵。
本第二种示例性实现方式中，混合图网络神经网络模型预测系统的逻辑结构如图4所示。预测系统以如下步骤运行：
步骤S82：在预测编码器中，采用训练所得的编码参数
Figure 303289DEST_PATH_IMAGE080
，由图表示向量计算模块采用式12一次性计算得出所有实例（包括所有待预测实例及其若干度邻居）的图表示向量
Figure 153696DEST_PATH_IMAGE112
：
步骤S84：在预测编码器中，由图表示向量存储模块以实例的标识为索引，保存每个实例的标识
Figure 949614DEST_PATH_IMAGE032
与该实例的图表示向量
Figure 827440DEST_PATH_IMAGE034
的对应关系。
步骤S86：令变量
Figure 443229DEST_PATH_IMAGE116
。
步骤S88：在预测解码器中，从待预测目标的集合中取出
Figure 64703DEST_PATH_IMAGE118
个目标（如果目标集合的目标总数不足
Figure 682504DEST_PATH_IMAGE120
，则取出剩余的全部目标并将
Figure 465652DEST_PATH_IMAGE118
的值修改为目标集合的目标总数）。对每个取出的目标
Figure 186047DEST_PATH_IMAGE028
（
Figure 814475DEST_PATH_IMAGE122
），采用由图表示向量查询模块从预测编码器的图表示向量存储模块中查找得到的目标
Figure 444039DEST_PATH_IMAGE028
对应实例
Figure 539034DEST_PATH_IMAGE032
的图表示向量
Figure 254049DEST_PATH_IMAGE034
、对应实例
Figure 92692DEST_PATH_IMAGE094
的图表示向量
Figure DEST_PATH_IMAGE130
、与目标
Figure 685085DEST_PATH_IMAGE028
的对象的表示向量
Figure 544457DEST_PATH_IMAGE096
，拼接为一组解码函数
Figure 982654DEST_PATH_IMAGE022
的输入
Figure DEST_PATH_IMAGE132
。
步骤S90：在预测解码器中，预测量计算模块采用解码参数
Figure 687304DEST_PATH_IMAGE082
，由式14得出步骤S88中取出的本轮次
Figure 291461DEST_PATH_IMAGE118
个目标的预测量
Figure 728259DEST_PATH_IMAGE126
。
Figure DEST_PATH_IMAGE134
步骤S92：从待预测的目标集合中删除本轮次取出的
Figure 621128DEST_PATH_IMAGE118
个目标，如果目标集合为空，则预测结束；如果目标集合不为空，则转步骤S88。
可见，本说明书的实施例二中，采用编码函数一次性计算所有实例的图表示向量，由解码函数基于图表示向量和对应于目标的非图数据生成训练目标的预测量，避免了对图数据的冗余重复处理，降低运算量并加快了预测速度，解码函数综合考虑了实例的图表示向量和非图数据，实现了混合图神经网络模型的高效预测。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在本说明书的第一个应用示例中，某互联网服务提供商采用混合图神经网络模型来评估用户所属的类别，并依据用户所属的类别，对来自用户的请求进行与其类别相对应的业务处理，从而能够为用户提供更加有针对性的服务，提升业务处理的效率。其中，可以根据具体的业务需求来确定类别的形式、以及相对应的业务处理，不做限定。例如，类别可以是消费级别、信用级别、活跃等级、安全级别等；对应的业务处理可以是对不同类别的用户适用不同的业务流程、采用不同的业务处理参数等。
该互联网服务提供商以用户为实例来构建混合图神经网络模型，模型的训练或预测目标为某个用户所属的类别。混合图神经网络模型中，实例的图数据为用户数据中表达为图中点的属性和边的属性的部分（如用户属性数据中的稠密数据、用户之间的关系数据等），而将用户数据中的其余部分（如用户属性数据中的稀疏数据）、根据用户的历史行为记录生成的历史行为时序数据来作为对应于目标的非图数据。
该互联网服务提供商采用本说明书实施例一的第一种示例性实现方式来进行混合图神经网络模型的训练。在训练完毕后，采用本说明书实施例二的第一种示例性实现方式，来基于训练完毕的混合图神经网络模型预测用户所属的类别，并根据所预测的类别来对用户进行对应于其所属类别的业务处理。
在本说明书的第二个应用示例中，某互联网服务提供商采用混合图神经网络模型来评估用户与对象的匹配程度，并依据用户与对象的匹配程度，向用户推荐对象，以便加快用户获取信息的效率，提升用户的满意度。其中，对象的具体形式不做限定，例如可以是商品、促销活动、广告、对用户搜索请求的搜索结果等。
该互联网服务提供商以对象为实例来构建混合图神经网络模型，模型的训练或预测目标为某个用户与某个对象的匹配程度。混合图神经网络模型中，实例的图数据为对象数据中表达为图中点的属性和边的属性的部分，而将用户的表示向量作为对应于目标的非图数据。根据用户的历史行为记录，将用户曾经有过行为（如浏览、收藏、关注等）的N个对象的图表示向量也作为解码函数的输入，这样，每个目标对应的实例将包括
Figure 430602DEST_PATH_IMAGE092
个对象，即待推荐对象和N个和用户有过历史行为的对象。
该互联网服务提供商采用本说明书实施例一的第二种示例性实现方式来进行混合图神经网络模型的训练。在训练完毕后，采用本说明书实施例二的第二种示例性实现方式，来基于训练完毕的混合图神经网络模型预测用户与待推荐对象的匹配程度，并将预测的与该用户匹配程度较高的若干个待推荐对象推荐给用户。
与上述流程实现对应，本说明书的实施例还提供了一种混合图神经网络的训练装置，和一种混合图神经网络的预测装置。这两种装置均可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为逻辑意义上的装置，是所在设备的CPU（Central Process Unit，中央处理器）将对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，除了图5所示的CPU、内存以及存储器之外，混合图神经网络的训练装置或预测装置所在的设备通常还包括用于进行无线信号收发的芯片等其他硬件，和/或用于实现网络通信功能的板卡等其他硬件。
图6所示为本说明书实施例提供的一种混合图神经网络模型的训练装置，所述混合图神经网络模型包括编码函数和解码函数，所述编码函数为带有编码参数的图神经网络算法及其组合，所述解码函数为带有解码参数的机器学习算法及其组合，所述装置包括训练图表示向量单元、解码参数训练单元、编码参数训练单元和训练循环单元，其中：训练图表示向量单元用于以训练样本中所有目标对应的实例以及所述实例的若干度邻居作为图中的点，基于所有实例的图数据，采用编码函数生成每个实例的图表示向量；解码参数训练单元用于对解码参数进行t个轮次的训练；在每个轮次，从训练样本中提取bs个目标，基于每个目标对应的实例的图表示向量、对应的非图数据，采用解码函数生成每个目标的预测量，并根据由本轮次bs个目标的预测量与标签量确定的本轮次的损失量优化解码参数；bs为自然数，t为大于1的自然数；编码参数训练单元用于根据所述t个轮次的损失量优化编码参数；训练循环单元用于重复采用上述所有单元直至满足预定训练终止条件。
一个例子中，所述编码参数训练单元具体用于：计算每个轮次的损失量对该轮次bs个目标对应实例的图表示向量的梯度，根据
Figure 30211DEST_PATH_IMAGE002
个的梯度优化编码参数。
上述例子中，所述编码参数训练单元根据
Figure 762544DEST_PATH_IMAGE002
个梯度优化编码参数，包括：在每个轮次bs个目标对应的各个实例的图表示向量上分别累积t个轮次的梯度，根据所述各个图表示向量上累积的梯度确定损失量对编码参数的梯度，采用损失量对编码参数的梯度优化编码参数。
可选的，所述解码参数训练单元根据由本轮次bs个目标的预测量与标签量确定的本轮次的损失量优化解码参数，包括：根据本轮次每个目标的预测量与标签量确定每个目标的损失量，由本轮次bs个目标的损失量得到本轮次的损失量，根据本轮次的损失量对解码参数的梯度优化解码参数。
可选的，所述预定训练终止条件包括：优化R次编码参数，R为大于1的自然数。
一种实现方式中，所述实例的图数据包括实例的自身点数据、与其他实例的关系数据中的至少一项；所述对应的非图数据包括对应于目标的实例的自身非点数据、与对应于目标的实例相关的时序数据中的至少一项。
上述实现方式中，所述实例的自身点数据包括：实例的自身稠密数据；所述实例的自身非点数据包括：实例的自身稀疏数据。
可选的，所述混合图神经网络模型用于评估用户所属的类别；所述实例为用户；所述训练目标为某个用户所属的类别；所述实例的图数据包括：用户数据中表达为图中点和边的属性的部分；所述对应的非图数据包括以下至少一项：用户数据中除表达为图中点和边的属性之外的其余部分、根据用户的历史行为记录生成的历史行为时序数据；所述装置还包括类别预测及业务处理单元，用于采用训练完毕的混合图神经网络模型预测用户所属的类别，并根据所述用户所属的类别来对用户进行对应于所述类别的业务处理。
可选的，所述混合图神经网络模型用于评估用户与对象的匹配程度；所述实例为对象，所述训练目标为某个用户与某个待推荐对象的匹配程度；所述实例的图数据包括：对象数据中表达为图中点和边的属性的部分；所述目标对应的实例的图表示向量包括：待推荐对象的图表示向量、和所述用户有过历史行为的N个对象的图表示向量；所述对应的非图数据包括：所述用户的表示向量；N为自然数；所述装置还包括匹配预测及推荐单元，用于采用训练完毕的混合图神经网络模型预测用户与待推荐对象的匹配程度，并将预测与所述用户匹配程度较高的若干个待推荐对象推荐给用户。
图7所示为本说明书实施例提供的一种混合图神经网络模型的预测装置，所述混合图神经网络模型包括编码函数和解码函数，所述编码函数为带有根据前述混合图神经网络模型训练方法训练完毕的编码参数的图神经网络算法，所述解码函数为带有根据前述混合图神经网络模型训练方法训练完毕的解码参数的机器学习算法，所述装置包括预测图表示向量单元和预测量生成单元其中：预测图表示向量单元用于以所有待预测的目标对应的实例以及所述实例的若干度邻居作为图中的点，基于所有实例的图数据，采用编码函数生成每个实例的图表示向量；预测量生成单元用于基于与待预测的目标对应的实例的图表示向量、对应的非图数据，采用解码函数生成所述目标的预测量。
可选的，所述装置还包括目标提取单元，用于从待预测的目标集合中提取ps个待预测的目标；ps为自然数；所述预测量生成单元具体用于：对所述ps个目标，分别基于每个目标对应的实例的图表示向量、对应的非图数据，采用解码函数生成每个目标的预测量；所述装置还包括循环控制单元，用于删除待预测的目标集合中的所述ps个目标，如果待预测的目标集合不为空，则继续下一轮次提取最多ps个目标进行预测，直至目标集合为空。
一个例子中，所述实例的图数据包括实例的自身点数据、与其他实例的关系数据中的至少一项；所述对应的非图数据包括对应于目标的实例的自身非点数据、与对应于目标的实例相关的时序数据中的至少一项。
上述例子中，所述实例的自身点数据包括：实例的自身稠密数据；所述实例的自身非点数据包括：实例的自身稀疏数据。
可选的，所述混合图神经网络模型用于评估用户所属的类别；所述实例为用户；所述待预测的目标为某个用户所属的类别；所述实例的图数据包括：用户数据中表达为图中点和边的属性的部分；所述对应的非图数据包括以下至少一项：用户数据中除表达为图中点和边的属性之外的其余部分、根据用户的历史行为记录生成的历史行为时序数据；所述装置还包括类别业务处理单元，用于根据预测的某个用户所属的类别，来对所述用户进行对应于所述类别的业务处理。
可选的，所述混合图神经网络模型用于评估用户与对象的匹配程度；所述实例为对象，所述训练目标为某个用户与某个待推荐对象的匹配程度；所述实例的图数据包括：对象数据中表达为图中点和边的属性的部分；所述目标对应的实例的图表示向量包括：待推荐对象的图表示向量、和所述用户有过历史行为的N个对象的图表示向量；所述对应的非图数据包括：所述用户的表示向量；N为自然数；所述装置还包括推荐单元，用于根据待推荐对象与某个用户的匹配程度，将与所述用户匹配程度较高的若干个待推荐对象推荐给用户。
本说明书的实施例提供了一种计算机设备，该计算机设备包括存储器和处理器。其中，存储器上存储有能够由处理器运行的计算机程序；处理器在运行存储的计算机程序时，执行本说明书实施例中混合图神经网络的训练方法的各个步骤。对混合图神经网络的训练方法的各个步骤的详细描述请参见之前的内容，不再重复。
本说明书的实施例提供了一种计算机设备，该计算机设备包括存储器和处理器。其中，存储器上存储有能够由处理器运行的计算机程序；处理器在运行存储的计算机程序时，执行本说明书实施例中混合图神经网络的预测方法的各个步骤。对混合图神经网络的预测方法的各个步骤的详细描述请参见之前的内容，不再重复。
本说明书的实施例提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，这些计算机程序在被处理器运行时，执行本说明书实施例中混合图神经网络的训练方法的各个步骤。对混合图神经网络的训练方法的各个步骤的详细描述请参见之前的内容，不再重复。
本说明书的实施例提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，这些计算机程序在被处理器运行时，执行本说明书实施例中混合图神经网络的预测方法的各个步骤。对混合图神经网络的预测方法的各个步骤的详细描述请参见之前的内容，不再重复。
以上所述仅为本说明书的较佳实施例而已，并不用以限制请求保护的其他实施例，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在请求保护的范围之内。
在一个典型的配置中，计算设备包括一个或多个处理器（CPU）、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 （RAM）和/或非易失性内存等形式，如只读存储器（ROM）或闪存（flash RAM）。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器 （EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体（transitory media），如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书的实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

Claims (34)

1.一种混合图神经网络模型的训练方法，所述混合图神经网络模型包括编码函数和解码函数，所述编码函数为带有编码参数的图神经网络算法及其组合，所述解码函数为带有解码参数的机器学习算法及其组合，所述方法包括：
以训练样本中所有目标对应的实例以及所述实例的若干度邻居作为图中的点，基于所有实例的图数据，采用编码函数生成每个实例的图表示向量；
对解码参数进行t个轮次的训练；在每个轮次，从训练样本中提取bs个目标，基于每个目标对应的实例的图表示向量、对应的非图数据，采用解码函数生成每个目标的预测量，并根据由本轮次bs个目标的预测量与标签量确定的本轮次的损失量优化解码参数；bs为自然数，t为大于1的自然数；
根据所述t个轮次的损失量优化编码参数；
重复上述所有步骤直至满足预定训练终止条件。
2.根据权利要求1所述的方法，所述根据t个轮次的损失量优化编码参数，包括：计算每 个轮次的损失量对该轮次bs个目标对应实例的图表示向量的梯度，根据
Figure 177952DEST_PATH_IMAGE001
个的梯度优 化编码参数。
3.根据权利要求2所述的方法，所述根据
Figure 213166DEST_PATH_IMAGE001
个梯度优化编码参数，包括：在每个轮 次bs个目标对应的各个实例的图表示向量上分别累积t个轮次的梯度，根据所述各个图表 示向量上累积的梯度确定损失量对编码参数的梯度，采用损失量对编码参数的梯度优化编 码参数。
4.根据权利要求1所述的方法，所述根据由本轮次bs个目标的预测量与标签量确定的本轮次的损失量优化解码参数，包括：根据本轮次每个目标的预测量与标签量确定每个目标的损失量，由本轮次bs个目标的损失量得到本轮次的损失量，根据本轮次的损失量对解码参数的梯度优化解码参数。
5.根据权利要求1所述的方法，所述预定训练终止条件包括：优化R次编码参数，R为大于1的自然数。
6.根据权利要求1所述的方法，所述实例的图数据包括实例的自身点数据、与其他实例的关系数据中的至少一项；所述对应的非图数据包括对应于目标的实例的自身非点数据、与对应于目标的实例相关的时序数据中的至少一项。
7.根据权利要求6所述的方法，所述实例的自身点数据包括：实例的自身稠密数据；所述实例的自身非点数据包括：实例的自身稀疏数据。
8.根据权利要求1所述的方法，所述混合图神经网络模型用于评估用户所属的类别；所述实例为用户；所述训练目标为某个用户所属的类别；所述实例的图数据包括：用户数据中表达为图中点和边的属性的部分；所述对应的非图数据包括以下至少一项：用户数据中除表达为图中点和边的属性之外的其余部分、根据用户的历史行为记录生成的历史行为时序数据；
所述方法还包括：采用训练完毕的混合图神经网络模型预测用户所属的类别，并根据所述用户所属的类别来对用户进行对应于所述类别的业务处理。
9.根据权利要求1所述的方法，所述混合图神经网络模型用于评估用户与对象的匹配程度；所述实例为对象，所述训练目标为某个用户与某个待推荐对象的匹配程度；所述实例的图数据包括：对象数据中表达为图中点和边的属性的部分；所述目标对应的实例的图表示向量包括：待推荐对象的图表示向量、和所述用户有过历史行为的N个对象的图表示向量；所述对应的非图数据包括：所述用户的表示向量；N为自然数；
所述方法还包括：采用训练完毕的混合图神经网络模型预测用户与待推荐对象的匹配程度，并将预测与所述用户匹配程度较高的若干个待推荐对象推荐给用户。
10.一种混合图神经网络模型的预测方法，所述混合图神经网络模型包括编码函数和解码函数，所述编码函数为带有根据权利要求1至9任意一项所述方法训练完毕的编码参数的图神经网络算法，所述解码函数为带有根据权利要求1至9任意一项所述方法训练完毕的解码参数的机器学习算法，所述方法包括：
以所有待预测的目标对应的实例以及所述实例的若干度邻居作为图中的点，基于所有实例的图数据，采用编码函数生成每个实例的图表示向量；
基于与待预测的目标对应的实例的图表示向量、对应的非图数据，采用解码函数生成所述目标的预测量。
11.根据权利要求10所述的方法，所述方法还包括：从待预测的目标集合中提取ps个待预测的目标；ps为自然数；
所述基于与待预测的目标对应的实例的图表示向量、对应的非图数据，采用解码函数生成所述目标的预测量，包括：对所述ps个目标，分别基于每个目标对应的实例的图表示向量、对应的非图数据，采用解码函数生成每个目标的预测量；
所述方法还包括：删除待预测的目标集合中的所述ps个目标，如果待预测的目标集合不为空，则继续下一轮次提取最多ps个目标进行预测，直至目标集合为空。
12.根据权利要求10所述的方法，所述实例的图数据包括实例的自身点数据、与其他实例的关系数据中的至少一项；所述对应的非图数据包括对应于目标的实例的自身非点数据、与对应于目标的实例相关的时序数据中的至少一项。
13.根据权利要求12所述的方法，所述实例的自身点数据包括：实例的自身稠密数据；所述实例的自身非点数据包括：实例的自身稀疏数据。
14.根据权利要求10所述的方法，所述混合图神经网络模型用于评估用户所属的类别；所述实例为用户；所述待预测的目标为某个用户所属的类别；所述实例的图数据包括：用户数据中表达为图中点和边的属性的部分；所述对应的非图数据包括以下至少一项：用户数据中除表达为图中点和边的属性之外的其余部分、根据用户的历史行为记录生成的历史行为时序数据；
所述方法还包括：根据预测的某个用户所属的类别，来对所述用户进行对应于所述类别的业务处理。
15.根据权利要求10所述的方法，所述混合图神经网络模型用于评估用户与对象的匹配程度；所述实例为对象，所述训练目标为某个用户与某个待推荐对象的匹配程度；所述实例的图数据包括：对象数据中表达为图中点和边的属性的部分；所述目标对应的实例的图表示向量包括：待推荐对象的图表示向量、和所述用户有过历史行为的N个对象的图表示向量；所述对应的非图数据包括：所述用户的表示向量；N为自然数；
所述方法还包括：根据待推荐对象与某个用户的匹配程度，将与所述用户匹配程度较高的若干个待推荐对象推荐给用户。
16.一种混合图神经网络模型的训练装置，所述混合图神经网络模型包括编码函数和解码函数，所述编码函数为带有编码参数的图神经网络算法及其组合，所述解码函数为带有解码参数的机器学习算法及其组合，所述装置包括：
训练图表示向量单元，用于以训练样本中所有目标对应的实例以及所述实例的若干度邻居作为图中的点，基于所有实例的图数据，采用编码函数生成每个实例的图表示向量；
解码参数训练单元，用于对解码参数进行t个轮次的训练；在每个轮次，从训练样本中提取bs个目标，基于每个目标对应的实例的图表示向量、对应的非图数据，采用解码函数生成每个目标的预测量，并根据由本轮次bs个目标的预测量与标签量确定的本轮次的损失量优化解码参数；bs为自然数，t为大于1的自然数；
编码参数训练单元，用于根据所述t个轮次的损失量优化编码参数；
训练循环单元，用于重复采用上述所有单元直至满足预定训练终止条件。
17.根据权利要求16所述的装置，所述编码参数训练单元具体用于：计算每个轮次的损 失量对该轮次bs个目标对应实例的图表示向量的梯度，根据
Figure 595606DEST_PATH_IMAGE001
个的梯度优化编码参 数。
18.根据权利要求17所述的装置，所述编码参数训练单元根据
Figure 494292DEST_PATH_IMAGE001
个梯度优化编码 参数，包括：在每个轮次bs个目标对应的各个实例的图表示向量上分别累积t个轮次的梯 度，根据所述各个图表示向量上累积的梯度确定损失量对编码参数的梯度，采用损失量对 编码参数的梯度优化编码参数。
19.根据权利要求16所述的装置，所述解码参数训练单元根据由本轮次bs个目标的预测量与标签量确定的本轮次的损失量优化解码参数，包括：根据本轮次每个目标的预测量与标签量确定每个目标的损失量，由本轮次bs个目标的损失量得到本轮次的损失量，根据本轮次的损失量对解码参数的梯度优化解码参数。
20.根据权利要求16所述的装置，所述预定训练终止条件包括：优化R次编码参数，R为大于1的自然数。
21.根据权利要求16所述的装置，所述实例的图数据包括实例的自身点数据、与其他实例的关系数据中的至少一项；所述对应的非图数据包括对应于目标的实例的自身非点数据、与对应于目标的实例相关的时序数据中的至少一项。
22.根据权利要求21所述的装置，所述实例的自身点数据包括：实例的自身稠密数据；所述实例的自身非点数据包括：实例的自身稀疏数据。
23.根据权利要求16所述的装置，所述混合图神经网络模型用于评估用户所属的类别；所述实例为用户；所述训练目标为某个用户所属的类别；所述实例的图数据包括：用户数据中表达为图中点和边的属性的部分；所述对应的非图数据包括以下至少一项：用户数据中除表达为图中点和边的属性之外的其余部分、根据用户的历史行为记录生成的历史行为时序数据；
所述装置还包括：类别预测及业务处理单元，用于采用训练完毕的混合图神经网络模型预测用户所属的类别，并根据所述用户所属的类别来对用户进行对应于所述类别的业务处理。
24.根据权利要求16所述的装置，所述混合图神经网络模型用于评估用户与对象的匹配程度；所述实例为对象，所述训练目标为某个用户与某个待推荐对象的匹配程度；所述实例的图数据包括：对象数据中表达为图中点和边的属性的部分；所述目标对应的实例的图表示向量包括：待推荐对象的图表示向量、和所述用户有过历史行为的N个对象的图表示向量；所述对应的非图数据包括：所述用户的表示向量；N为自然数；
所述装置还包括：匹配预测及推荐单元，用于采用训练完毕的混合图神经网络模型预测用户与待推荐对象的匹配程度，并将预测与所述用户匹配程度较高的若干个待推荐对象推荐给用户。
25.一种混合图神经网络模型的预测装置，所述混合图神经网络模型包括编码函数和解码函数，所述编码函数为带有根据权利要求1至9任意一项所述方法训练完毕的编码参数的图神经网络算法，所述解码函数为带有根据权利要求1至9任意一项所述方法训练完毕的解码参数的机器学习算法，所述装置包括：
预测图表示向量单元，用于以所有待预测的目标对应的实例以及所述实例的若干度邻居作为图中的点，基于所有实例的图数据，采用编码函数生成每个实例的图表示向量；
预测量生成单元，用于基于与待预测的目标对应的实例的图表示向量、对应的非图数据，采用解码函数生成所述目标的预测量。
26.根据权利要求25所述的装置，所述装置还包括：目标提取单元，用于从待预测的目标集合中提取ps个待预测的目标；ps为自然数；
所述预测量生成单元具体用于：对所述ps个目标，分别基于每个目标对应的实例的图表示向量、对应的非图数据，采用解码函数生成每个目标的预测量；
所述装置还包括：循环控制单元，用于删除待预测的目标集合中的所述ps个目标，如果待预测的目标集合不为空，则继续下一轮次提取最多ps个目标进行预测，直至目标集合为空。
27.根据权利要求25所述的装置，所述实例的图数据包括实例的自身点数据、与其他实例的关系数据中的至少一项；所述对应的非图数据包括对应于目标的实例的自身非点数据、与对应于目标的实例相关的时序数据中的至少一项。
28.根据权利要求27所述的装置，所述实例的自身点数据包括：实例的自身稠密数据；所述实例的自身非点数据包括：实例的自身稀疏数据。
29.根据权利要求25所述的装置，所述混合图神经网络模型用于评估用户所属的类别；所述实例为用户；所述待预测的目标为某个用户所属的类别；所述实例的图数据包括：用户数据中表达为图中点和边的属性的部分；所述对应的非图数据包括以下至少一项：用户数据中除表达为图中点和边的属性之外的其余部分、根据用户的历史行为记录生成的历史行为时序数据；
所述装置还包括：类别业务处理单元，用于根据预测的某个用户所属的类别，来对所述用户进行对应于所述类别的业务处理。
30.根据权利要求25所述的装置，所述混合图神经网络模型用于评估用户与对象的匹配程度；所述实例为对象，所述训练目标为某个用户与某个待推荐对象的匹配程度；所述实例的图数据包括：对象数据中表达为图中点和边的属性的部分；所述目标对应的实例的图表示向量包括：待推荐对象的图表示向量、和所述用户有过历史行为的N个对象的图表示向量；所述对应的非图数据包括：所述用户的表示向量；N为自然数；
所述装置还包括：推荐单元，用于根据待推荐对象与某个用户的匹配程度，将与所述用户匹配程度较高的若干个待推荐对象推荐给用户。
31.一种计算机设备，包括：存储器和处理器；所述存储器上存储有可由处理器运行的计算机程序；所述处理器运行所述计算机程序时，执行如权利要求1到9任意一项所述的方法。
32.一种计算机设备，包括：存储器和处理器；所述存储器上存储有可由处理器运行的计算机程序；所述处理器运行所述计算机程序时，执行如权利要求10到15任意一项所述的方法。
33.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行如权利要求1到9任意一项所述的方法。
34.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行如权利要求10到15任意一项所述的方法。
CN202110050410.7A 2021-01-14 2021-01-14 混合图神经网络模型的训练、预测方法和装置 Active CN112381216B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110050410.7A CN112381216B (zh) 2021-01-14 2021-01-14 混合图神经网络模型的训练、预测方法和装置
PCT/CN2022/071577 WO2022152161A1 (zh) 2021-01-14 2022-01-12 混合图神经网络模型的训练、预测
US18/272,194 US20240152732A1 (en) 2021-01-14 2022-01-12 Training and prediction of hybrid graph neural network model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110050410.7A CN112381216B (zh) 2021-01-14 2021-01-14 混合图神经网络模型的训练、预测方法和装置

Publications (2)

Publication Number Publication Date
CN112381216A true CN112381216A (zh) 2021-02-19
CN112381216B CN112381216B (zh) 2021-04-27

Family

ID=74581860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110050410.7A Active CN112381216B (zh) 2021-01-14 2021-01-14 混合图神经网络模型的训练、预测方法和装置

Country Status (3)

Country Link
US (1) US20240152732A1 (zh)
CN (1) CN112381216B (zh)
WO (1) WO2022152161A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657577A (zh) * 2021-07-21 2021-11-16 阿里巴巴达摩院(杭州)科技有限公司 模型训练方法及计算系统
WO2022152161A1 (zh) * 2021-01-14 2022-07-21 蚂蚁智信(杭州)信息技术有限公司 混合图神经网络模型的训练、预测
CN115905624A (zh) * 2022-10-18 2023-04-04 支付宝(杭州)信息技术有限公司 一种用户行为状态的确定方法、装置及设备
CN116506622A (zh) * 2023-06-26 2023-07-28 瀚博半导体(上海)有限公司 模型训练方法及视频编码参数优化方法和装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116305995B (zh) * 2023-03-27 2023-11-07 清华大学 结构体系的非线性分析方法及装置、设备及介质
CN116932893B (zh) * 2023-06-21 2024-06-04 江苏大学 一种基于图卷积网络的序列推荐方法、系统、设备及介质
CN117113148B (zh) * 2023-08-30 2024-05-17 上海智租物联科技有限公司 基于时序图神经网络的风险识别方法、装置及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160239461A1 (en) * 2013-03-01 2016-08-18 Synaptic Engines, Llc Reconfigurable graph processor
CN108829683A (zh) * 2018-06-29 2018-11-16 北京百度网讯科技有限公司 混合标注学习神经网络模型及其训练方法、装置
CN111192680A (zh) * 2019-12-25 2020-05-22 山东众阳健康科技集团有限公司 一种基于深度学习和集成分类的智能辅助诊断方法
CN111612070A (zh) * 2020-05-13 2020-09-01 清华大学 基于场景图的图像描述生成方法及装置
CN111902825A (zh) * 2018-03-23 2020-11-06 多伦多大学管理委员会 多边形对象标注系统和方法以及训练对象标注系统的方法
CN112085615A (zh) * 2020-09-23 2020-12-15 支付宝(杭州)信息技术有限公司 图神经网络的训练方法及装置
CN112115377A (zh) * 2020-09-11 2020-12-22 安徽农业大学 一种基于社交关系的图神经网络链路预测推荐方法
CN112114791A (zh) * 2020-09-08 2020-12-22 南京航空航天大学 一种基于元学习的代码自适应生成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598842A (zh) * 2019-07-17 2019-12-20 深圳大学 一种深度神经网络超参数优化方法、电子设备及存储介质
CN111985622A (zh) * 2020-08-25 2020-11-24 支付宝(杭州)信息技术有限公司 一种图神经网络训练方法和系统
CN112381216B (zh) * 2021-01-14 2021-04-27 蚂蚁智信(杭州)信息技术有限公司 混合图神经网络模型的训练、预测方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160239461A1 (en) * 2013-03-01 2016-08-18 Synaptic Engines, Llc Reconfigurable graph processor
CN111902825A (zh) * 2018-03-23 2020-11-06 多伦多大学管理委员会 多边形对象标注系统和方法以及训练对象标注系统的方法
CN108829683A (zh) * 2018-06-29 2018-11-16 北京百度网讯科技有限公司 混合标注学习神经网络模型及其训练方法、装置
CN111192680A (zh) * 2019-12-25 2020-05-22 山东众阳健康科技集团有限公司 一种基于深度学习和集成分类的智能辅助诊断方法
CN111612070A (zh) * 2020-05-13 2020-09-01 清华大学 基于场景图的图像描述生成方法及装置
CN112114791A (zh) * 2020-09-08 2020-12-22 南京航空航天大学 一种基于元学习的代码自适应生成方法
CN112115377A (zh) * 2020-09-11 2020-12-22 安徽农业大学 一种基于社交关系的图神经网络链路预测推荐方法
CN112085615A (zh) * 2020-09-23 2020-12-15 支付宝(杭州)信息技术有限公司 图神经网络的训练方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ARUNAVA CHAKRAVARTY 等: "Learning Decision Ensemble using a Graph Neural Network for Comorbidity Aware Chest Radiograph Screening", 《2020 42ND ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE & BIOLOGY SOCIETY (EMBC)》 *
ZONGHAN WU等: "A Comprehensive Survey on Graph Neural Networks", 《ARXIV》 *
徐冰冰 等: "图卷积神经网络综述", 《计算机学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022152161A1 (zh) * 2021-01-14 2022-07-21 蚂蚁智信(杭州)信息技术有限公司 混合图神经网络模型的训练、预测
CN113657577A (zh) * 2021-07-21 2021-11-16 阿里巴巴达摩院(杭州)科技有限公司 模型训练方法及计算系统
CN113657577B (zh) * 2021-07-21 2023-08-18 阿里巴巴达摩院(杭州)科技有限公司 模型训练方法及计算系统
CN115905624A (zh) * 2022-10-18 2023-04-04 支付宝(杭州)信息技术有限公司 一种用户行为状态的确定方法、装置及设备
CN116506622A (zh) * 2023-06-26 2023-07-28 瀚博半导体(上海)有限公司 模型训练方法及视频编码参数优化方法和装置
CN116506622B (zh) * 2023-06-26 2023-09-08 瀚博半导体(上海)有限公司 模型训练方法及视频编码参数优化方法和装置

Also Published As

Publication number Publication date
WO2022152161A1 (zh) 2022-07-21
US20240152732A1 (en) 2024-05-09
CN112381216B (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
CN112381216B (zh) 混合图神经网络模型的训练、预测方法和装置
Tang et al. # exploration: A study of count-based exploration for deep reinforcement learning
US11074295B2 (en) Distributed graph embedding method and apparatus, device, and system
CN110728317A (zh) 决策树模型的训练方法、系统、存储介质及预测方法
WO2022166115A1 (en) Recommendation system with adaptive thresholds for neighborhood selection
US10909442B1 (en) Neural network-based artificial intelligence system for content-based recommendations using multi-perspective learned descriptors
CN111966914A (zh) 基于人工智能的内容推荐方法、装置和计算机设备
CN111382555A (zh) 数据处理方法、介质、装置和计算设备
CN113656699B (zh) 用户特征向量确定方法、相关设备及介质
CN111369258A (zh) 实体对象类型的预测方法、装置及设备
CN113837492B (zh) 物品供应量的预测方法、设备、存储介质及程序产品
KR20230069578A (ko) 그래프 신경망을 이용한 부호 인지 추천 장치 및 방법
CN114168804A (zh) 一种基于异质子图神经网络的相似信息检索方法和系统
CN112989182A (zh) 信息处理方法、装置、信息处理设备及存储介质
CN113836407B (zh) 推荐方法及相关装置
CN113284027B (zh) 团伙识别模型的训练方法、异常团伙识别方法及装置
CN109597851B (zh) 基于关联关系的特征提取方法和装置
CN113554450B (zh) 数据模型训练及数据处理方法、装置、设备及存储介质
CN111159397B (zh) 文本分类方法和装置、服务器
CN112085040B (zh) 对象标签确定方法、装置和计算机设备
CN116127083A (zh) 内容推荐方法、装置、设备及存储介质
CN113781156A (zh) 恶意订单的识别方法、模型的训练方法、设备及存储介质
CN114708110A (zh) 续保行为预测模型的联合训练方法、装置及电子设备
CN115329183A (zh) 数据处理方法、装置、存储介质及设备
CN111736845B (zh) 一种编码方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40046014

Country of ref document: HK