Nothing Special   »   [go: up one dir, main page]

CN112364943B - 一种基于联邦学习的联邦预测方法 - Google Patents

一种基于联邦学习的联邦预测方法 Download PDF

Info

Publication number
CN112364943B
CN112364943B CN202011456395.8A CN202011456395A CN112364943B CN 112364943 B CN112364943 B CN 112364943B CN 202011456395 A CN202011456395 A CN 202011456395A CN 112364943 B CN112364943 B CN 112364943B
Authority
CN
China
Prior art keywords
round
training
neural network
cluster
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011456395.8A
Other languages
English (en)
Other versions
CN112364943A (zh
Inventor
李先贤
段锦欢
王金艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Normal University
Original Assignee
Guangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Normal University filed Critical Guangxi Normal University
Priority to CN202011456395.8A priority Critical patent/CN112364943B/zh
Publication of CN112364943A publication Critical patent/CN112364943A/zh
Application granted granted Critical
Publication of CN112364943B publication Critical patent/CN112364943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于联邦学习的联邦预测方法，通过对本地更新的梯度向量单位化，使单个参与方更新的神经网络模型参数变化只有方向差异，无大小差异，这样既保护了数据隐私，同时不需要使用同态、差分隐私或其他加密技术，在不丢失数据精度情况下，极大减少设备与服务器之间通讯代价。另外，考虑到联邦学习场景下数据往往差异性较大，可以通过增加数据的局部信息，提高对局部参与方的性能，利用k‑means算法对上传的神经网络模型参数聚类，得到相似的神经网络模型参数，提高神经网络模型参数聚合权重，既而更加适应于本参与方的数据场景。

Description

一种基于联邦学习的联邦预测方法
技术领域
本发明涉及联邦学习技术领域，具体涉及一种基于联邦学习的联邦预测方法。
背景技术
在大多数行业中，由于行业竞争、隐私安全、行政手续复杂等问题，数据是不共享的，即使是在同一个公司的不同部门之间，实现数据集中整合也面临着重重阻力。在现实中想要将分散在各地、各个机构的数据进行整合几乎是不可能的，所需的成本也是巨大的。同时，各国都在加强对数据安全和隐私的保护，欧盟最近引入的新法案《通用数据保护条例》(GDPR)表明，对用户数据隐私和安全管理的日趋严格将是世界趋势。针对数据孤岛和隐私安全这两大问题，谷歌在2016年提出了联邦学习框架，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。
联邦学习是多个数据拥有方组成一个联盟，共同参与全局模型的训练。各参与方之间在保护数据隐私和模型参数的基础上，仅共享加密的模型参数或者加密的中间计算结果，而无原始数据共享，让数据可用不可见，且联合构建的模型可以达到更优的模型性能。随着数据安全方面的法律、法规不断完善，越来越多的公司、机构将隐私安全提上了日程，也有越来越多的研究者投身其中。
在联邦学习中，用矩阵Di表示每个数据所有者i持有的数据，矩阵的每一行表示一个样本，每一列表示一个特征。同时，一些数据集也可能包含标签数据，如金融领域中标签可以是用户的信用，营销领域中标签可以是用户的购买欲望，教育领域中标签可以是学生的学位。为此，用X表示特征空间，用Y表示标签空间，用I表示样本ID空间，则在特征X、标签Y和样本ID构成完整的训练数据集(I,X,Y)。在现有的联邦学习中，其参数在聚合过程中多采用单纯的联邦平均的方式，这种方式所得到的模型的预测性能往往较差。另外，由于要在共享参数上加密，使用同态或其他加密技术会极大提高设备与服务器之间通讯代价，通信效率低。
发明内容
本发明所要解决的是现有联邦学习预测效果不佳的问题，提供一种基于联邦学习的联邦预测方法。
为解决上述问题，本发明是通过以下技术方案实现的：
一种基于联邦学习的联邦预测方法，包括步骤如下：
步骤1、服务器初始化神经网络模型的参数，并发送给所有的参与方；所有参与方将初始化神经网络模型的参数作为本地神经网络模型的第0轮模型参数；
步骤2、满足条件的参与方向服务器提出参与第t轮训练的请求，服务器从中选择cK个参与方作为训练参与方参与到第t轮训练中；
步骤3、第t轮训练的每个训练参与方利用本地训练数据集Dk对本地神经网络模型进行训练，在训练过程中运用随机梯度下降法并通过梯度单位向量去更新本地神经网络模型的第t-1轮模型参数
Figure BDA0002828727710000021
得到本地神经网络模型的第t轮上传模型参数
Figure BDA0002828727710000022
步骤4、第t轮训练的所有训练参与方将其本地神经网络模型的第t轮上传模型参数
Figure BDA0002828727710000023
上传给服务器；
步骤5、服务器基于k-means聚类算法对第t轮上传模型参数
Figure BDA0002828727710000024
进行聚合，得到离散簇的第t轮离散簇最终模型参数
Figure BDA0002828727710000025
和每个聚类簇的第t轮聚类簇最终模型参数
Figure BDA0002828727710000026
步骤6、服务器将每个聚类簇的第t轮聚类簇最终模型参数
Figure BDA0002828727710000027
分别发送给相应聚类簇的第t轮聚类点模型参数所对应的训练参与方，并将离散簇的第t轮离散簇最终模型参数
Figure BDA0002828727710000028
发送给离散簇的第t轮离散点模型参数所对应的训练参与方和未参与第t轮的其他参与方；
步骤7、判断所有参与方的本地神经网络模型是否已经收敛或达到预定的训练次数：如果是，则转至步骤8；否则，令t＝t+1，并返回步骤2；
步骤8、各参与方将本地测试数据送入到本地神经网络模型中，利用本地神经网络模型完成对本地测试数据的预测。
上述步骤3的具体过程如下：
步骤3.1、训练参与方k利用本地训练数据集Dk对当前本地神经网络模型进行训练，在训练过程中运用随机梯度下降法并通过梯度单位向量去更新本地神经网络模型的第t-1轮模型参数
Figure BDA0002828727710000029
得到本地神经网络模型的第t轮第一模型参数
Figure BDA00028287277100000210
步骤3.2、训练参与方k先从本地训练数据集Dk选出一部分数据形成部分本地训练数据集Bk，再利用部分本地训练数据集Bk对当前本地神经网络模型进行训练，在训练过程中运用随机梯度下降法并通过梯度单位向量去更新本地神经网络模型的第t轮第一模型参数
Figure BDA00028287277100000211
得到本地神经网络模型的第t轮第二模型参数
Figure BDA00028287277100000212
步骤3.3、训练参与方k利用本地训练数据集Dk对当前本地神经网络模型进行训练，在训练过程中运用随机梯度下降法并通过梯度单位向量去更新本地神经网络模型的第t轮第二模型参数
Figure BDA00028287277100000213
得到本地神经网络模型的第t轮上传模型参数
Figure BDA00028287277100000214
上述步骤5的具体过程如下：
步骤5.1、服务器利用k-means聚类算法将所有的第t轮上传模型参数
Figure BDA0002828727710000031
聚类为M个聚类簇，并计算每个聚类簇的簇心坐标；
步骤5.2、服务器从每个聚类簇的第t轮上传模型参数
Figure BDA0002828727710000032
中挑选出与其聚类簇的簇心坐标之间的距离在预设范围之外的第t轮上传模型参数
Figure BDA0002828727710000033
作为第t轮离散点模型参数，并将所有聚类簇所选出的第t轮离散点模型参数形成一个新的离散簇；此时，每个聚类簇剩下的第t轮上传模型参数
Figure BDA0002828727710000034
作为第t轮聚类点模型参数；
步骤5.3、服务器从离散簇的所有第t轮离散点模型参数中选出一定数量的第t轮离散点模型参数进行平均，得到离散簇的第t轮离散簇中间模型参数
Figure BDA0002828727710000035
同时，服务器从每个聚类簇的所有第t轮聚类点模型参数中第t轮聚类点模型参数进行平均，得到每个聚类簇的第t轮聚类簇中间模型参数
Figure BDA0002828727710000036
步骤5.4、服务器计算离散簇的第t轮离散簇最终模型参数
Figure BDA0002828727710000037
和每个聚类簇的第t轮聚类簇最终模型参数
Figure BDA0002828727710000038
其中：
Figure BDA0002828727710000039
Figure BDA00028287277100000310
上述α为当前聚类簇i的权重，β为其他聚类簇j的权重，γ为离散簇的权重，α+β+γ＝1且α＞β＞γ；
Figure BDA00028287277100000311
为当前聚类簇i的簇心坐标与其他聚类簇j的簇心坐标的欧式距离；i∈M，j∈M，j≠i，M为聚类簇的个数；k∈cK，cK为训练参与方的个数；t为训练轮数。
与现有技术相比，本发明具有如下特点：
1、考虑到联邦学习场景下数据往往差异性较大，可以通过增加数据的局部信息，提高对局部参与方的性能，本发明利用k-means算法对上传的神经网络模型参数聚类，得到相似的神经网络模型参数，提高神经网络模型参数聚合权重，既而更加适应于本参与方的数据场景。
2、本发明通过对本地更新的梯度向量单位化，使单个参与方更新的神经网络模型参数变化只有方向差异，无大小差异，这样既保护了数据隐私，同时不需要使用同态、差分隐私或其他加密技术，在不丢失数据精度情况下，极大减少设备与服务器之间通讯代价。
附图说明
图1为一种基于联邦学习的联邦预测方法的原理图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本发明进一步详细说明。
对于联邦学习领域的人员来说，在进行联邦训练之前，需要确定联邦学习参与方和服务器，并组建联邦学习环境。在参与联邦学习之前，参与方需要准备好自己待训练的本地训练数据集，同时需要根据实际应用场景所确定的本地神经网络模型。
以键盘输入预测为例，参与方为参加联邦学习的成千上万的移动设备(手机)，服务器为阿里云或百度云。本地训练数据集为输入法(如Gboard)用户的数据，这些用户在输入谷歌应用程序时选择共享文本片段。文本被截断，以包含几个单词组成的短语，而片段只会偶尔从个别用户那里登录。在训练之前，日志被匿名化，并剥夺了个人可识别信息。此外，只有以一个句子标记开始的时候，片段才会用于训练。本地神经网络模型为下一词预测模型使用了长短期记忆(LSTM)递归神经网络的变体，称为耦合输入遗忘门(CIFG)，绑定的输入嵌入和输出投影矩阵被用来约简函数大小和加速训练。给定一个大小为V的词汇表，通过d＝Wv和一个嵌入矩阵w∈RD×V将一个单热点编码v∈RV映射到一个密集的嵌入向量d∈RD。CIFG的输出投影，同样在RD中，被映射到WTh∈RV的输出向量。输出向量上的softmax函数将原始对数转换为归一化概率，使用输出标签和目标标签的交叉熵损失训练模型。虚拟键盘输入建议，用户都使用移动设备(手机)，但是不同的用户输入键盘的数据是不一样的。
以银行洗钱预测为例，参与方为参加联邦学习的银行，服务器为阿里云或百度云。本地训练数据集为银行的业务数据，数据包括客户id、资金来源与经营范围不符笔数x1、大额交易笔数x2，标签数据Y是否洗钱四项。本地神经网络模型设置为两层三个节点的全连接神经网络加一个softmax函数，激活函数为relu。银行反洗钱任务，银行甲和银行乙在不同地区。由于业务相同，银行甲与银行乙的业务数据有相同的特征空间和不同的客户。
参见图1，一种基于联邦学习的联邦预测方法，包括步骤如下：
步骤1、服务器初始化神经网络模型的参数，并发送给所有K个参与方；所有参与方将初始化神经网络模型的参数作为本地神经网络模型的第0轮模型参数
Figure BDA0002828727710000041
其中k∈K，K为参与方的个数。
在键盘输入预测实例中，将第0轮原始模型参数广播给全部的参与联邦训练的移动设备(手机)。
在银行洗钱预测实例中，将第0轮原始模型参数广播给全部的参与联邦训练的银行设备。
步骤2、满足条件的参与方向服务器提出参与第t轮训练的请求，服务器从中选择其中的cK个参与方作为训练参与方参与到第t轮训练中。
满足特定条件(这个条件根据联邦学习训练计划任务确定)的参与方会向服务器提出请求，表示自己可以参加到本轮训练中来，服务器接收到请求之后，会选择一部分参与方参与到本轮训练中来，如果某些参与方没有参与本轮训练，服务器会让它们在一段时间之后重新请求，同时服务器会考虑参与方的数量、超时时间这些因素。只有在超时前足够的设备可以参与到本轮训练中，这轮训练才会成功。
步骤3、第t轮训练的每个训练参与方利用本地训练数据集Dk对本地神经网络模型进行训练，在训练过程中运用随机梯度下降法并通过梯度单位向量去更新本地神经网络模型的第t-1轮模型参数
Figure BDA0002828727710000051
得到本地神经网络模型的第t轮上传模型参数
Figure BDA0002828727710000052
其中k∈cK，cK为训练参与方的个数。
通过对本地更新的梯度向量单位化，使单个参与方更新的神经网络模型参数变化只有方向差异，无大小差异。即使攻击者得到了神经网络模型参数，也只知道梯度单位向量，无法反推出本地数据，从而保护了数据隐私。上传参数时不需要对参数进行加密，提高了参与方与服务器之间的通信效率。
步骤3.1、训练参与方k利用本地训练数据集Dk对当前本地神经网络模型进行训练，在训练过程中运用随机梯度下降法并通过梯度单位向量去更新本地神经网络模型的第t-1轮模型参数
Figure BDA0002828727710000053
得到本地神经网络模型的第t轮第一模型参数
Figure BDA0002828727710000054
此阶段训练一次。
Figure BDA0002828727710000055
式中，η为学习率，
Figure BDA0002828727710000056
为第t轮训练中，参与方k中的样本x的模型参数梯度。
步骤3.2、训练参与方k先从本地训练数据集Dk选出一部分形成部分本地训练数据集Bk，再利用部分本地训练数据集Bk对当前本地神经网络模型进行训练，在训练过程中运用随机梯度下降法并通过梯度单位向量去更新本地神经网络模型的第t轮第一模型参数
Figure BDA0002828727710000057
得到本地神经网络模型的第t轮第二模型参数
Figure BDA0002828727710000058
此阶段可训练多次。
Figure BDA0002828727710000059
式中，η为学习率，
Figure BDA00028287277100000510
为第t轮训练中，参与方k中的样本x的模型参数梯度。
步骤3.3、训练参与方k利用本地训练数据集Dk对当前本地神经网络模型进行训练，在训练过程中运用随机梯度下降法并通过梯度单位向量去更新本地神经网络模型的第t轮第二模型参数
Figure BDA00028287277100000511
得到本地神经网络模型的第t轮上传模型参数
Figure BDA00028287277100000512
此阶段训练一次。
Figure BDA00028287277100000513
式中，η为学习率，
Figure BDA00028287277100000514
为第t轮训练中，参与方k中的样本x的模型参数梯度。
在键盘输入预测实例中，参与本轮训练的移动设备将本地训练数据集(输入法用户的数据)包括日志数据和日志文本输入到本地神经网络模型中。
在银行洗钱预测实例中，参与本轮训练的银行设备将本地训练数据集(银行的业务数据)包括包括客户id、资金来源与经营范围不符笔数x1、大额交易笔数x2，标签数据Y是否洗钱四项输入到本地神经网络模型中。
步骤4、第t轮训练的所有训练参与方将其本地神经网络模型的第t轮上传模型参数
Figure BDA0002828727710000061
上传给服务器。
服务器等待各个参与方将训练后的结果返回，在超时之前有有足够多的参与方成果返回了结果，那么本轮训练成功，否则本轮训练失败。本轮训练成功，服务器会采用聚合算法进行聚合。
步骤5、服务器基于k-means聚类算法对第t轮上传模型参数
Figure BDA0002828727710000062
进行聚合，得到第t轮聚类簇最终模型参数
Figure BDA0002828727710000063
和第t轮离散簇最终模型参数
Figure BDA0002828727710000064
由于联邦平均直接将参数平均，考虑到联邦学习场景下数据往往差异性较大，可以通过增加数据的局部信息，提高对局部参与方的性能。利用k-means算法对上传的神经网络模型参数聚类，得到相似的神经网络模型参数。聚合时，对局部数据提高本簇的神经网络模型参数权重，既而更加适应于本参与方的数据场景，提高神经网络模型性能。
步骤5.1、服务器利用k-means聚类算法将所有的第t轮上传模型参数
Figure BDA0002828727710000065
聚类为M个聚类簇，并计算每个聚类簇的簇心坐标
Figure BDA0002828727710000066
其中i∈M，M为聚类簇的个数。
步骤5.2、服务器从每个聚类簇的第t轮上传模型参数
Figure BDA0002828727710000067
中挑选出与其聚类簇的簇心坐标之间的距离在预设范围之外的第t轮上传模型参数
Figure BDA0002828727710000068
作为第t轮离散点模型参数，并将所有聚类簇所选出的第t轮离散点模型参数形成一个新的离散簇；此时，每个聚类簇剩下的第t轮上传模型参数
Figure BDA0002828727710000069
作为第t轮聚类点模型参数。
当第t轮上传模型参数
Figure BDA00028287277100000610
与簇心坐标
Figure BDA00028287277100000611
之间的欧式距离小于等于预设范围内，即
Figure BDA00028287277100000612
时，则该第t轮上传模型参数
Figure BDA00028287277100000613
称为第t轮聚类点模型参数(该参数所对应的训练参与方为簇内的正常训练参与方)。当第t轮上传模型参数
Figure BDA00028287277100000614
与簇心坐标
Figure BDA00028287277100000615
之间的欧式距离大于预设范围，即
Figure BDA00028287277100000616
时，则该第t轮上传模型参数
Figure BDA00028287277100000617
称为第t轮离散点模型参数(该参数所对应的训练参与方为簇内的异常训练参与方)。其中si为i簇中所有的模型参数到簇心坐标的标准差。
步骤5.3、服务器从离散簇的所有第t轮离散点模型参数中选出Q个的第t轮离散点模型参数进行平均，得到离散簇的第t轮离散簇中间模型参数
Figure BDA00028287277100000618
同时，服务器从每个聚类簇的所有第t轮聚类点模型参数中选出Q个的选出一定数量的进行平均，得到每个聚类簇的第t轮聚类簇中间模型参数
Figure BDA00028287277100000619
Figure BDA0002828727710000071
Figure BDA0002828727710000072
步骤5.4、服务器计算离散簇的第t轮离散簇最终模型参数
Figure BDA0002828727710000073
和每个聚类簇的第t轮聚类簇最终模型参数
Figure BDA0002828727710000074
其中：
Figure BDA0002828727710000075
Figure BDA0002828727710000076
式中，α为当前聚类簇i的权重，β为其他聚类簇j的权重，γ为离散簇的权重，并且有α+β+γ＝1和α＞β＞γ。其中
Figure BDA0002828727710000077
为第t轮训练中，当前聚类簇i与其他聚类簇j的簇心坐标的欧式距离。
步骤6、服务器将每个聚类簇的第t轮聚类簇最终模型参数
Figure BDA0002828727710000078
分别发送给相应聚类簇的第t轮聚类点模型参数所对应的训练参与方(正常训练参与方)，并将离散簇的第t轮离散簇最终模型参数
Figure BDA0002828727710000079
发送给离散簇的第t轮离散点模型参数所对应的训练参与方(异常训练参与方)和未参与第t轮的其他参与方。
步骤7、判断所有参与方的本地神经网络模型是否已经收敛或达到预定的训练次数：如果是，则转至步骤8；否则，令t＝t+1，并返回步骤2。
所谓模型收敛是指本地神经网络模型的损失函数值不再变化或变化量小于设定的变化阈值。
步骤8、各参与方将本地测试数据送入到本地神经网络模型中，利用本地神经网络模型完成对本地测试数据的预测。
在键盘输入预测实例中，各移动设备得到训练好的耦合输入遗忘门神经网络模型，移动设备将用户实时的键盘输入字符作为耦合输入遗忘门神经网络模型的输入值，耦合输入遗忘门神经网络模型的输出值即为下一个预测输入字符，该预测输入字符显示在虚拟键盘上，供用户选择。
在银行洗钱预测实例中，各银行得到训练好的反洗钱神经网络模型，将银行业务数据，包括客户id、资金来源与经营范围不符笔数x1、大额交易笔数x2三项作为反洗钱神经网络模型的输入值，反洗钱神经网络模型的输出值为预测该笔业务数据是否涉嫌参与洗钱。
需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (4)

1.一种基于联邦学习的联邦预测方法，其特征是，包括步骤如下：
步骤1、服务器初始化神经网络模型的参数，并发送给所有的参与方；所有参与方将初始化神经网络模型的参数作为本地神经网络模型的第0轮模型参数；
步骤2、满足条件的参与方向服务器提出参与第t轮训练的请求，服务器从中选择cK个参与方作为训练参与方参与到第t轮训练中；
步骤3、第t轮训练的每个训练参与方利用本地训练数据集Dk对本地神经网络模型进行训练，在训练过程中运用随机梯度下降法并通过梯度单位向量去更新本地神经网络模型的第t-1轮模型参数
Figure FDA0003538711600000011
得到本地神经网络模型的第t轮上传模型参数
Figure FDA0003538711600000012
步骤4、第t轮训练的所有训练参与方将其本地神经网络模型的第t轮上传模型参数
Figure FDA0003538711600000013
上传给服务器；
步骤5、服务器基于k-means聚类算法对第t轮上传模型参数
Figure FDA0003538711600000014
进行聚合，得到离散簇的第t轮离散簇最终模型参数
Figure FDA0003538711600000015
和每个聚类簇的第t轮聚类簇最终模型参数
Figure FDA0003538711600000016
即：
步骤5.1、服务器利用k-means聚类算法将所有的第t轮上传模型参数
Figure FDA0003538711600000017
聚类为M个聚类簇，并计算每个聚类簇的簇心坐标；
步骤5.2、服务器从每个聚类簇的第t轮上传模型参数
Figure FDA0003538711600000018
中挑选出与其聚类簇的簇心坐标之间的距离在预设范围之外的第t轮上传模型参数
Figure FDA0003538711600000019
作为第t轮离散点模型参数，并将所有聚类簇所选出的第t轮离散点模型参数形成一个新的离散簇；此时，每个聚类簇剩下的第t轮上传模型参数
Figure FDA00035387116000000110
作为第t轮聚类点模型参数；
步骤5.3、服务器从离散簇的所有第t轮离散点模型参数中选出一定数量的第t轮离散点模型参数进行平均，得到离散簇的第t轮离散簇中间模型参数
Figure FDA00035387116000000111
同时，服务器从每个聚类簇的所有第t轮聚类点模型参数中第t轮聚类点模型参数进行平均，得到每个聚类簇的第t轮聚类簇中间模型参数
Figure FDA00035387116000000112
步骤5.4、服务器计算离散簇的第t轮离散簇最终模型参数
Figure FDA00035387116000000113
和每个聚类簇的第t轮聚类簇最终模型参数
Figure FDA00035387116000000114
其中：
Figure FDA00035387116000000115
Figure FDA00035387116000000116
上述α为当前聚类簇i的权重，β为其他聚类簇j的权重，γ为离散簇的权重，α+β+γ＝1且α＞β＞γ；
Figure FDA00035387116000000117
为当前聚类簇i的簇心坐标与其他聚类簇j的簇心坐标的欧式距离；i∈M，j∈M，j≠i，M为聚类簇的个数；
步骤6、服务器将每个聚类簇的第t轮聚类簇最终模型参数
Figure FDA0003538711600000021
分别发送给相应聚类簇的第t轮聚类点模型参数所对应的训练参与方，并将离散簇的第t轮离散簇最终模型参数
Figure FDA0003538711600000022
发送给离散簇的第t轮离散点模型参数所对应的训练参与方和未参与第t轮的其他参与方；
步骤7、判断所有参与方的本地神经网络模型是否已经收敛或达到预定的训练次数：如果是，则转至步骤8；否则，令训练轮数t加1，并返回步骤2；
步骤8、各参与方将本地测试数据送入到本地神经网络模型中，利用本地神经网络模型完成对本地测试数据的预测；
上述k∈cK，cK为训练参与方的个数；t为训练轮数。
2.根据权利要求1所述的一种基于联邦学习的联邦预测方法，其特征是，步骤3的具体过程如下：
步骤3.1、训练参与方k利用本地训练数据集Dk对当前本地神经网络模型进行训练，在训练过程中运用随机梯度下降法并通过梯度单位向量去更新本地神经网络模型的第t-1轮模型参数
Figure FDA0003538711600000023
得到本地神经网络模型的第t轮第一模型参数
Figure FDA0003538711600000024
步骤3.2、训练参与方k先从本地训练数据集Dk选出一部分数据形成部分本地训练数据集Bk，再利用部分本地训练数据集Bk对当前本地神经网络模型进行训练，在训练过程中运用随机梯度下降法并通过梯度单位向量去更新本地神经网络模型的第t轮第一模型参数
Figure FDA0003538711600000025
得到本地神经网络模型的第t轮第二模型参数
Figure FDA0003538711600000026
步骤3.3、训练参与方k利用本地训练数据集Dk对当前本地神经网络模型进行训练，在训练过程中运用随机梯度下降法并通过梯度单位向量去更新本地神经网络模型的第t轮第二模型参数
Figure FDA0003538711600000027
得到本地神经网络模型的第t轮上传模型参数
Figure FDA0003538711600000028
上述k∈cK，cK为训练参与方的个数；t为训练轮数。
3.根据权利要求2所述的一种基于联邦学习的联邦预测方法，其特征是，
步骤3.1中，利用本地训练数据集Dk对本地神经网络模型进行一次训练；步骤3.2中，利用本地训练数据集Bk对本地神经网络模型进行多次训练；步骤3.3中，利用本地训练数据集Dk对本地神经网络模型进行一次训练；
上述k∈cK，cK为训练参与方的个数。
4.根据权利要求1所述的一种基于联邦学习的联邦预测方法，其特征是，步骤7中，参与方的本地神经网络模型收敛是指本地神经网络模型的损失函数值不再变化或变化量小于设定的变化阈值。
CN202011456395.8A 2020-12-10 2020-12-10 一种基于联邦学习的联邦预测方法 Active CN112364943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011456395.8A CN112364943B (zh) 2020-12-10 2020-12-10 一种基于联邦学习的联邦预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011456395.8A CN112364943B (zh) 2020-12-10 2020-12-10 一种基于联邦学习的联邦预测方法

Publications (2)

Publication Number Publication Date
CN112364943A CN112364943A (zh) 2021-02-12
CN112364943B true CN112364943B (zh) 2022-04-22

Family

ID=74536164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011456395.8A Active CN112364943B (zh) 2020-12-10 2020-12-10 一种基于联邦学习的联邦预测方法

Country Status (1)

Country Link
CN (1) CN112364943B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113094407B (zh) * 2021-03-11 2022-07-19 广发证券股份有限公司 一种基于横向联邦学习的反洗钱识别方法、装置及系统
CN113051557B (zh) * 2021-03-15 2022-11-11 河南科技大学 基于纵向联邦学习的社交网络跨平台恶意用户检测方法
CN113033819B (zh) * 2021-03-25 2022-11-11 支付宝(杭州)信息技术有限公司 基于异构模型的联邦学习方法、装置及介质
CN114118180A (zh) * 2021-04-02 2022-03-01 京东科技控股股份有限公司 聚类方法、装置、电子设备及存储介质
CN112799708B (zh) * 2021-04-07 2021-07-13 支付宝(杭州)信息技术有限公司 联合更新业务模型的方法及系统
CN113139600A (zh) * 2021-04-23 2021-07-20 广东安恒电力科技有限公司 基于联邦学习的智能电网设备异常检测方法和系统
WO2022226903A1 (zh) * 2021-04-29 2022-11-03 浙江大学 一种面向k-means聚类算法的联邦学习方法
CN113344220B (zh) * 2021-06-18 2022-11-11 山东大学 一种联邦学习中基于局部模型梯度的用户筛选方法、系统、设备及存储介质
CN113487351A (zh) * 2021-07-05 2021-10-08 哈尔滨工业大学（深圳） 隐私保护广告点击率预测方法、装置、服务器及存储介质
CN113378243B (zh) * 2021-07-14 2023-09-29 南京信息工程大学 一种基于多头注意力机制的个性化联邦学习方法
CN113469373B (zh) * 2021-08-17 2023-06-30 北京神州新桥科技有限公司 基于联邦学习的模型训练方法、系统、设备及存储介质
CN113837399B (zh) * 2021-10-26 2023-05-30 医渡云（北京）技术有限公司 联邦学习模型的训练方法、装置、系统、存储介质及设备
CN114077901B (zh) * 2021-11-23 2024-05-24 山东大学 一种基于聚类的图联邦学习的用户位置预测方法
CN114611722B (zh) * 2022-03-16 2024-05-24 中南民族大学 一种基于聚类分析的安全横向联邦学习方法
CN114925744B (zh) * 2022-04-14 2024-07-02 支付宝(杭州)信息技术有限公司 联合训练的方法及装置
CN114900343B (zh) * 2022-04-25 2023-01-24 西安电子科技大学 基于聚类联邦学习的物联网设备异常流量检测方法
CN115018085B (zh) * 2022-05-23 2023-06-16 郑州大学 一种面向数据异构性的联邦学习参与设备选择方法
CN115061909B (zh) * 2022-06-15 2024-08-16 哈尔滨理工大学 一种基于联邦强化学习的异构软件缺陷预测算法研究
CN116522228B (zh) * 2023-04-28 2024-02-06 哈尔滨工程大学 一种基于特征模仿联邦学习的射频指纹识别方法
CN116502709A (zh) * 2023-06-26 2023-07-28 浙江大学滨江研究院 一种异质性联邦学习方法和装置
CN117094410B (zh) * 2023-07-10 2024-02-13 西安电子科技大学 一种面向投毒受损联邦学习的模型修复方法
CN116665319B (zh) * 2023-07-31 2023-11-24 华南理工大学 一种基于联邦学习的多模态生物特征识别方法
CN116701972B (zh) * 2023-08-09 2023-11-24 腾讯科技（深圳）有限公司 业务数据处理方法、装置、设备以及介质
CN118362309B (zh) * 2024-06-19 2024-09-03 石家庄铁道大学 基于动态聚类联邦学习的滚动轴承故障诊断方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190103088A (ko) * 2019-08-15 2019-09-04 엘지전자 주식회사 연합학습을　통한 단말의 명함을 인식하는 방법 및 이를 위한 장치
CN110399742A (zh) * 2019-07-29 2019-11-01 深圳前海微众银行股份有限公司 一种联邦迁移学习模型的训练、预测方法及装置
CN111339212A (zh) * 2020-02-13 2020-06-26 深圳前海微众银行股份有限公司 样本聚类方法、装置、设备及可读存储介质
CN111860832A (zh) * 2020-07-01 2020-10-30 广州大学 一种基于联邦学习的增强神经网络防御能力的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399742A (zh) * 2019-07-29 2019-11-01 深圳前海微众银行股份有限公司 一种联邦迁移学习模型的训练、预测方法及装置
KR20190103088A (ko) * 2019-08-15 2019-09-04 엘지전자 주식회사 연합학습을　통한 단말의 명함을 인식하는 방법 및 이를 위한 장치
CN111339212A (zh) * 2020-02-13 2020-06-26 深圳前海微众银行股份有限公司 样本聚类方法、装置、设备及可读存储介质
CN111860832A (zh) * 2020-07-01 2020-10-30 广州大学 一种基于联邦学习的增强神经网络防御能力的方法

Also Published As

Publication number Publication date
CN112364943A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN112364943B (zh) 一种基于联邦学习的联邦预测方法
CN112949837B (zh) 一种基于可信网络的目标识别联邦深度学习方法
CN112418520B (zh) 一种基于联邦学习的信用卡交易风险预测方法
CN109657837A (zh) 违约概率预测方法、装置、计算机设备和存储介质
CN112085159A (zh) 一种用户标签数据预测系统、方法、装置及电子设备
CN114514519A (zh) 使用异构模型类型和架构的联合学习
WO2023185539A1 (zh) 机器学习模型训练方法、业务数据处理方法、装置及系统
CN112116103B (zh) 基于联邦学习的个人资质评估方法、装置及系统及存储介质
CN114580663A (zh) 面向数据非独立同分布场景的联邦学习方法及系统
Yang et al. Federated continual learning via knowledge fusion: A survey
CN112100642B (zh) 在分布式系统中保护隐私的模型训练方法及装置
Gokulkumari et al. Analyze the political preference of a common man by using data mining and machine learning
CN114186694B (zh) 一种高效安全，低通信的纵向联邦学习方法
CN114282692A (zh) 一种纵向联邦学习的模型训练方法及系统
CN112560059B (zh) 一种基于神经通路特征提取的垂直联邦下模型窃取防御方法
CN113360514A (zh) 联合更新模型的方法、装置及系统
Mao et al. A novel user membership leakage attack in collaborative deep learning
CN116187469A (zh) 一种基于联邦蒸馏学习框架的客户端成员推理攻击方法
CN114362948B (zh) 一种联邦衍生特征逻辑回归建模方法
CN115310625A (zh) 一种纵向联邦学习推理攻击防御方法
CN116186629B (zh) 基于个性化联邦学习的金融客户分类及预测方法、装置
CN114330756A (zh) 联邦集成学习方法、装置、设备和存储介质
CN114169458B (zh) 一种欺诈人员识别方法及装置、存储介质、计算机设备
CN118153666B (zh) 一种个性化联邦知识蒸馏模型构建方法
CN114925744B (zh) 联合训练的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant