CN109992977B - 一种基于安全多方计算技术的数据异常点清洗方法 - Google Patents

Abstract

本发明属于信息安全技术领域，公开了一种基于安全多方计算技术的数据异常点清洗方法，所述基于安全多方计算技术的数据异常点清洗方法包括：将A与B两个参与方的数据统一为矩阵格式，拥有相同维度，并且最后一维为该条数据的AVF值；参与方A与参与方B利用安全多方计算算法ABY中的Yao’s加密算法对数据矩阵进行加密；服务器A与服务器B对各参与方上传的加密数据集进行数据异常点清洗。本发明结合安全多方计算技术和AVF异常值检测算法，利用现有的安全多方计算工具ABY算法，实现了对高维数据的高效检测，并且在保证一定效率的前提下利用安全多方计算技术中的Yao’s加密算法保证了各方数据隐私相当的安全性。

Description

一种基于安全多方计算技术的数据异常点清洗方法

技术领域

本发明属于信息安全技术领域，尤其涉及一种基于安全多方计算技术的数据异常点清洗方法。

背景技术

目前，最接近的现有技术：联合数据源是指机器学习训练过程中，多个参与方拥有同一类型的数据，将这些数据融合起来，可以扩大训练数据集规模，提升模型训练结果的准确度。机器学习发展至今，模型的优劣在很大程度上取决于数据集的规模与质量，因此联合数据源学习成为机器学习发展的一大趋势。但是随着联合数据源训练优势而来的，就是多数据源数据隐私安全保护的新问题，由于在一些场景下，各参与方拥有的数据也许是隐私敏感的，比如一些商业数据或者一些客户的隐私信息，如医疗信息或财产信息等，这样的数据对隐私保护的要求极高，自然也很难做到随意共享。

随着大家对于数据融合的需求逐渐增加，针对保护数据隐私的算法也陆续出现。如增加可信第三方的方法，多个参与方共同认证一个可信的第三方，将各自的明文数据上传给第三方，由第三方进行数据清洗、训练等任务，可信第三方往往是一些具有公信力的组织，或者一些提供收费服务的云计算提供者。这样带来的好处是实现了数据的隐私保护，同时也达到了融合数据的目的。但是这种算法存在一定的安全风险，可信第三方往往是诚实但好奇的，如果在收集到数据进行处理的过程中有不可预料的数据泄露，或者遇到恶意的第三方窃取数据信息，往往会造成严重的后果。

随着各领域技术的融会贯通，密码学的思维被应用在了联合数据源训练的领域，即使用成熟的加密算法，将各参与方的数据进行加密，再将加密数据集合起来送给可信第三方，可信第三方并不拥有敏感的明文数据，只拥有加密后看上去毫无现实意义的密文数据，加密算法往往采用同态加密，即明文加密后，对密文进行怎样的运算，等同于对明文进行同样的运算，这种加密方法保证了密文训练的可行性，这样就极大程度的保证了数据的隐私性。但是同样，这样的算法也存在现实问题，最大的问题就是安全与效率之间的博弈，目前已有的同态加密算法，得到结果往往需要耗费大量的时间和计算资源，在对隐私要求没有那么高的场景下，这种算法只有极低的使用效率，并不适合大量推广。

现有技术一提出了一种利用同态加密算法解决多数据源联合数据异常点清洗的算法，利用同态加密算法对各方数据进行加密，然后采用AVF异常点检测算法对数据集中的异常点进行筛选和清洗，但是由于同态加密本身的效率限制，其加解密所需的时间和计算资源较多，导致该算法相对计算效率较低，不能满足大量的数据处理需求；现有技术二提出了基于LOF异常点检测算法的隐私保护数据清洗方案，但是由于其基于数据分布密度而决策数据是否为异常点的性质，如果数据的维度较高，则无法有效的根据分布密度的区别来分辨异常点的存在，因此该技术存在一定的面对高维数据集时处理效率较低的问题。

综上所述，现有技术存在的问题是：

(1)现有利用同态加密算法解决多数据源联合数据异常点清洗的算法，计算效率较低，不能满足大量的数据处理需求。

(2)现有基于LOF异常点检测算法的隐私保护数据清洗方案存在面对高维数据集时处理效率较低的问题。

针对以上技术存在问题，需要一种能够平衡计算效率与安全性的新的技术，能够改进传统同态加密算法的低效率和高能耗，还能够保证必要的数据隐私安全需求，同时为了更好地适应实际实施实例，还需要能够支持高维数据的处理。

解决上述技术问题的意义：

针对以上技术存在的问题进行改进之后，可以使算法更加适应实际使用环境，提升了实际使用效率，增加了算法的可实施度，能够更好地保护敏感数据的隐私安全。

发明内容

针对现有技术存在的问题，本发明提供了一种基于安全多方计算技术的数据异常点清洗方法。

本发明是这样实现的，一种基于安全多方计算技术的数据异常点清洗方法，所述基于安全多方计算技术的数据异常点清洗方法包括：

第一步，将A与B两个参与方的数据统一为矩阵格式，拥有相同维度，并且最后一维为该条数据的AVF值；

第二步，参与方A与参与方B利用安全多方计算算法ABY中的Yao’s加密算法对数据矩阵进行加密；

第三步，服务器A与服务器B对各参与方上传的加密数据集进行数据异常点清洗。

进一步，所述第一步参与方A与参与方B按照规定统一自有数据集格式：

其中，D₁表示参与方A的N×(M+1)的数据集矩阵，a_ij表示参与方A数据集中的任意数据，avf_ai表示参与方A第i条数据的AVF值，i∈[1，N]，j∈[1，M]，M，N∈N⁺；D₂表示参与方B的P×(M+1)的数据集矩阵，b_kj表示参与方B数据集中的任意数据，avf_bk表示参与方A第k条数据的AVF值，k∈[1，P]，j∈[1，M]，M，P∈N⁺。其中两个参与方的数据维度相同。

进一步，所述第二步参与方A与参与方B按照规定加密自有数据集具体包括：

1)利用安全多方计算加密ABY算法中的Yao’s加密算法对参与方A的数据集D₁进行加密：

其中，

表示加密后的数据集交给服务器A的部分，

表示加密后的数据集交给服务器B的部分，Enc表示Yao’s加密算法，D₁表示参与方A的数据集；

具体按照下式加密每一个元素：

其中，

表示加密后的数据交给服务器A的部分，

表示加密后的数据交给服务器B的部分，a_ij表示参与方A的任意数据；

表示加密后的参与方A的第i条数据的AVF值交给服务器A的部分，

表示加密后的参与方A的第i条数据的AVF值交给服务器B的部分，avf_ai表示参与方A的第i条数据的AVF值；

2)利用下式表示加密后的参与方A的数据集：

其中，X₁₀表示服务器A持有的参与方A的加密数据集，X₁₁表示服务器B持有的参与方A的加密数据集，i∈[1，N]，j∈[1，M]，M，N∈N⁺；

3)利用安全多方计算加密ABY算法中的Yao’s加密算法对参与方B的数据集D₂进行加密：

其中，

表示加密后的数据集交给服务器A的部分，

表示加密后的数据集交给服务器B的部分，Enc表示Yao’s加密算法，D₂表示参与方B的数据集；

具体按照下式加密每一个元素：

其中，

表示加密后的数据交给服务器A的部分，

表示加密后的数据交给服务器B的部分，b_kj表示参与方A的任意数据；

表示加密后的参与方B的第k条数据的AVF值交给服务器A的部分，

表示加密后的参与方B的第k条数据的AVF值交给服务器B的部分，avf_bk表示参与方B的第k条数据的AVF值；

4)利用下式表示加密后的参与方B的数据集：

其中，X₂₀表示服务器A持有的参与方B的加密数据集，X₂₁表示服务器B持有的参与方B的加密数据集，k∈[1，P]，j∈[1，M]，M，P∈N⁺；

5)参与方A与参与方B分别将加密后的数据上传至对应服务器。

进一步，所述第三步服务器A与服务器B对各参与方上传的加密数据集进行数据异常点清洗具体包括：

1)服务器A提取自己拿到的参与方A的加密数据集中的最后一维数据：

服务器A使用安全加密算法ABY中的Yao’s加密算法中的排序算法对A₁₀进行排序：

A′₁₀＝Sort(A₁₀)；

其中，A₁₀表示服务器A拥有的参与方A的加密数据集中最后一维数据，A′₁₀表示A₁₀按照降序排序完成后的数据，Sort()表示Yao’s加密算法中的排序算法；

以A₁₀为基准将X₁₀也同时排序，即按照A₁₀降序排列X₁₀，排序完成后：

其中，X′₁₀为以X₁₀最后一维数据，即A₁₀为基准降序排序完成后的参与方A提交给服务器A的数据集，i∈[1，N]，j∈[1，M]，M，N∈N⁺；

规定一个固定值Thre，表示AVF值在正常范围内的阈值，将A′₁₀中的数据，按顺序与Thre比较大小：

Res_i＝Comp(A′_10i，Thre)；

其中，A′_10i表示A′₁₀中的元素，i∈[1，N]，N∈N⁺，Comp()表示Yao’s加密算法中的比较大小算法，Res_i表示A′_10i与Thre比较的结果，若Res_i值为1，表示A′_10i≥Thre；若Res_i值为0，表示A′_10i＜Thre，将A′₁₀中的数据，按顺序与Thre比较大小，直到Res_i＝0，停止比较，将X′₁₀中的前i行数据保留：

其中，I＝i，为排序之后保留的前i行数据，j∈[1，M]，M∈N⁺，X″₁₀为最终数据清洗完成后服务器A所拥有的参与方A的数据集；

2)服务器A提取自己拿到的参与方B的加密数据集中的最后一维数据：

服务器A使用安全加密算法ABY中的Yao’s加密算法中的排序算法对A₂₀进行排序：

A′₂₀＝Sort(A₂₀)；

其中，A₂₀表示服务器A拥有的参与方B的加密数据集中最后一维数据，A′₂₀表示A₂₀按照降序排序完成后的数据，Sort()表示Yao’s加密算法中的排序算法；

以A₂₀为基准将X₂₀也同时排序，即按照A₂₀降序排列X₂₀，排序完成后：

其中，X′₂₀为以X₂₀最后一维数据，即A₂₀为基准降序排序完成后的参与方B提交给服务器A的数据集，k∈[1，P]，j∈[1，M]，M，P∈N⁺；

规定一个固定值Thre，表示AVF值在正常范围内的阈值，将A′₂₀中的数据，按顺序与Thre比较大小：

Res_k＝Comp(A′_20k，Thre)；

其中，A′_20k表示A′₂₀中的元素，k∈[1，P]，P∈N⁺，Comp()表示Yao’s加密算法中的比较大小算法，Res_k表示A′_20k与Thre比较的结果，若Res_k值为1，表示A′_20k≥Thre；若Res_k值为0，表示A′_20k＜Thre，将A′₂₀中的数据，按顺序与Thre比较大小，直到Res_k＝0，停止比较，将X′₂₀中的前k行数据保留：

其中，K＝k，为排序之后保留的前k行数据，j∈[1，M]，M∈N⁺，X″₂₀为最终数据清洗完成后服务器A所拥有的参与方B的数据集；

3)服务器B提取自己拿到的参与方A的加密数据集中的最后一维数据：

服务器B使用安全加密算法ABY中的Yao’s加密算法中的排序算法对A₁₁进行排序：

A′₁₁＝Sort(A₁₁)；

其中，A₁₁表示服务器B拥有的参与方A的加密数据集中最后一维数据，A′₁₁表示A₁₁按照降序排序完成后的数据，Sort()表示Yao’s加密算法中的排序算法；

以A₁₁为基准将X₁₁也同时排序，即按照A₁₁降序排列X₁₁，排序完成后：

其中，X′₁₁为以X₁₁最后一维数据，即A₁₁为基准降序排序完成后的参与方A提交给服务器B的数据集，i∈[1，N]，j∈[1，M]，M，N∈N⁺；

规定一个固定值Thre，表示AVF值在正常范围内的阈值，将A′₁₁中的数据，按顺序与Thre比较大小：

Res_i＝Comp(A′_11i，Thre)；

其中，A′_11i表示A′₁₁中的元素，i∈[1，N]，N∈N⁺，Comp()表示Yao’s加密算法中的比较大小算法，Res_i表示A′_11i与Thre比较的结果，若Res_i值为1，表示A′_11i≥Thre；若Res_i值为0，表示A′_11i＜Thre，将A′₁₁中的数据，按顺序与Thre比较大小，直到Res_i＝0，停止比较，将X′₁₁中的前i行数据保留：

其中，I＝i，为排序之后保留的前i行数据，j∈[1，M]，M∈N⁺，X″₁₁为最终数据清洗完成后服务器B所拥有的参与方A的数据集；

4)服务器B提取自己拿到的参与方B的加密数据集中的最后一维数据：

服务器B使用安全加密算法ABY中的Yao’s加密算法中的排序算法对A₂₁进行排序：

A′₂₁＝Sort(A₂₁)；

其中，A₂₁表示服务器B拥有的参与方B的加密数据集中最后一维数据，A′₂₁表示A₂₁按照降序排序完成后的数据，Sort()表示Yao’s加密算法中的排序算法。

以A₂₁为基准将X₂₁也同时排序，即按照A₂₁降序排列X₂₁，排序完成后：

其中，X′₂₁为以X₂₁最后一维数据，即A₂₁为基准降序排序完成后的参与方B提交给服务器B的数据集，k∈[1，P]，j∈[1，M]，M，P∈N⁺。

规定一个固定值Thre，表示AVF值在正常范围内的阈值，将A′₂₁中的数据，按顺序与Thre比较大小：

Res_k＝Comp(A′_21k，Thre)；

其中，A′_21k表示A′₂₁中的元素，k∈[1，P]，P∈N⁺，Comp()表示Yao’s加密算法中的比较大小算法，Res_k表示A′_21k与Thre比较的结果，若Res_k值为1，表示A′_21k≥Thre；若Res_k值为0，表示A′_21k＜Thre，将A′₂₁中的数据，按顺序与Thre比较大小，直到Res_k＝0，停止比较，将X′₂₁中的前k行数据保留：

其中，K＝k，为排序之后保留的前k行数据，j∈[1，M]，M∈N⁺，X″₂₁为最终数据清洗完成后服务器B所拥有的参与方B的数据集；

5)最终得到的X″₁₀，X″₁₁，X″₂₀，X″₂₁为最终数据清洗完成后的数据集。

本发明的另一目的在于提供一种应用所述基于安全多方计算技术的数据异常点清洗方法的机器学习系统。

综上所述，本发明的优点及积极效果为：本发明结合安全多方计算技术和AVF异常值检测算法，利用现有的安全多方计算工具ABY算法，实现了对高维数据的高效检测，并且在保证一定效率的前提下利用安全多方计算技术中的Yao’s加密算法保证了各方数据隐私相当的安全性。

表1技术性能对比

附图说明

图1是本发明实施例提供的基于安全多方计算技术的数据异常点清洗方法流程图。

图2是本发明实施例提供的实施例的场景示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有利用同态加密算法解决多数据源联合数据异常点清洗的算法，计算效率较低，不能满足大量的数据处理需求；现有基于LOF异常点检测算法的隐私保护数据清洗方案存在面对高维数据集时处理效率较低的问题。本发明主要用于实现联合数据源环境下的安全数据异常点清洗算法；基于安全多方计算技术，实现了隐私保护前提下的多个数据源联合机器学习场景下的数据异常点清洗工作。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于安全多方计算技术的数据异常点清洗方法包括以下步骤：

S101：参与方A与参与方B按照规定统一自有数据集格式：将A与B两个参与方的数据统一为矩阵格式，拥有相同维度，并且最后一维为该条数据的Attribute ValueFrequency(AVF)值；

S102：参与方A与参与方B按照规定加密自有数据集：参与方A与参与方B利用安全多方计算算法ABY中的Yao’s加密算法对数据矩阵进行加密；

S103：服务器A与服务器B对各参与方上传的加密数据集进行数据异常点清洗。

下面结合具体实施例对本发明的应用原理作进一步的描述。

本发明实施例提供的基于安全多方计算技术的数据异常点清洗方法具体包括以下步骤：

步骤一，参与方A与参与方B按照规定统一自有数据集格式：

其中，D₁表示参与方A的N×(M+1)的数据集矩阵，a_ij表示参与方A数据集中的任意数据，avf_ai表示参与方A第i条数据的Attribute Value Frequency(AVF)值，i∈[1，N]，j∈[1，M]，M，N∈N⁺；D₂表示参与方B的P×(M+1)的数据集矩阵，b_kj表示参与方B数据集中的任意数据，avf_bk表示参与方A第k条数据的Attribute Value Frequency(AVF)值，k∈[1，P]，j∈[1，M]，M，P∈N⁺。其中两个参与方的数据维度(即M的值)相同。

步骤二，参与方A与参与方B按照规定加密自有数据集：

2a)利用安全多方计算加密ABY算法中的Yao’s加密算法对参与方A的数据集D₁进行加密：

其中，

表示加密后的数据集交给服务器A的部分，

表示加密后的数据集交给服务器B的部分，Enc表示Yao’s加密算法，D₁表示参与方A的数据集。

具体按照下式加密每一个元素：

其中，

表示加密后的数据交给服务器A的部分，

表示加密后的数据交给服务器B的部分，a_ij表示参与方A的任意数据；

表示加密后的参与方A的第i条数据的AVF值交给服务器A的部分，

表示加密后的参与方A的第i条数据的AVF值交给服务器B的部分，avf_ai表示参与方A的第i条数据的AVF值。

2b)利用下式表示加密后的参与方A的数据集：

其中，X₁₀表示服务器A持有的参与方A的加密数据集，X₁₁表示服务器B持有的参与方A的加密数据集，i∈[1，N]，j∈[1，M]，M，N∈N⁺。

2c)利用安全多方计算加密ABY算法中的Yao’s加密算法对参与方B的数据集D₂进行加密：

其中，

表示加密后的数据集交给服务器A的部分，

表示加密后的数据集交给服务器B的部分，Enc表示Yao’s加密算法，D₂表示参与方B的数据集。

具体按照下式加密每一个元素：

其中，

表示加密后的数据交给服务器A的部分，

表示加密后的数据交给服务器B的部分，b_kj表示参与方A的任意数据；

表示加密后的参与方B的第k条数据的AVF值交给服务器A的部分，

表示加密后的参与方B的第k条数据的AVF值交给服务器B的部分，avf_bk表示参与方B的第k条数据的AVF值。

2d)利用下式表示加密后的参与方B的数据集：

其中，X₂₀表示服务器A持有的参与方B的加密数据集，X₂₁表示服务器B持有的参与方B的加密数据集，k∈[1，P]，j∈[1，M]，M，P∈N⁺。

2e)参与方A与参与方B分别将加密后的数据上传至对应服务器。

步骤三，服务器A与服务器B对各参与方上传的加密数据集进行数据异常点清洗：

3a)服务器A提取自己拿到的参与方A的加密数据集中的最后一维数据，即：

服务器A使用安全加密算法ABY中的Yao’s加密算法中的排序算法对A₁₀进行排序：

A′₁₀＝Sort(A₁₀)；

其中，A₁₀表示服务器A拥有的参与方A的加密数据集中最后一维数据，A′₁₀表示A₁₀按照降序排序完成后的数据，Sort()表示Yao’s加密算法中的排序算法。

以A₁₀为基准将X₁₀也同时排序，即按照A₁₀降序排列X₁₀，排序完成后：

其中，X′₁₀为以X₁₀最后一维数据，即A₁₀为基准降序排序完成后的参与方A提交给服务器A的数据集，i∈[1，N]，j∈[1，M]，M，N∈N⁺。

规定一个固定值Thre，表示AVF值在正常范围内的阈值，将A′₁₀中的数据，按顺序与Thre比较大小：

Res_i＝Comp(A′_10i，Thre)；

其中，A′_10i表示A′₁₀中的元素，i∈[1，N]，N∈N⁺，Comp()表示Yao’s加密算法中的比较大小算法，Res_i表示A′_10i与Thre比较的结果，若Res_i值为1，表示A′_10i≥Thre；若Res_i值为0，表示A′_10i＜Thre，将A′₁₀中的数据，按顺序与Thre比较大小，直到Res_i＝0，停止比较，将X′₁₀中的前i行数据保留：

其中，I＝i，为排序之后保留的前i行数据，j∈[1，M}，M∈N⁺，X″₁₀为最终数据清洗完成后服务器A所拥有的参与方A的数据集。

3b)服务器A提取自己拿到的参与方B的加密数据集中的最后一维数据，即：

服务器A使用安全加密算法ABY中的Yao’s加密算法中的排序算法对A₂₀进行排序：

A′₂₀＝Sort(A₂₀)；

其中，A₂₀表示服务器A拥有的参与方B的加密数据集中最后一维数据，A′₂₀表示A₂₀按照降序排序完成后的数据，Sort()表示Yao’s加密算法中的排序算法。

以A₂₀为基准将X₂₀也同时排序，即按照A₂₀降序排列X₂₀，排序完成后：

其中，X′₂₀为以X₂₀最后一维数据，即A₂₀为基准降序排序完成后的参与方B提交给服务器A的数据集，k∈[1，P]，j∈[1，M]，M，P∈N⁺。

规定一个固定值Thre(同上文Thre)，表示AVF值在正常范围内的阈值，将A′₂₀

中的数据，按顺序与Thre比较大小：

Res_k＝Comp(A′_20k，Thre)；

其中，A′_20k表示A′₂₀中的元素，k∈[1，P]，P∈N⁺，Comp()表示Yao’s加密算法中的比较大小算法，Res_k表示A′_20k与Thre比较的结果，若Res_k值为1，表示A′_20k≥Thre；若Res_k值为0，表示A′_20k＜Thre，将A′₂₀中的数据，按顺序与Thre比较大小，直到Res_k＝0，停止比较，将X′₂₀中的前k行数据保留：

其中，K＝k，为排序之后保留的前k行数据，j∈[1，M]，M∈N⁺，X″₂₀为最终数据清洗完成后服务器A所拥有的参与方B的数据集。

3c)服务器B提取自己拿到的参与方A的加密数据集中的最后一维数据，即：

服务器B使用安全加密算法ABY中的Yao’s加密算法中的排序算法对A₁₁进行排序：

A′₁₁＝Sort(A₁₁)；

其中，A₁₁表示服务器B拥有的参与方A的加密数据集中最后一维数据，A′₁₁表示A₁₁按照降序排序完成后的数据，Sort()表示Yao’s加密算法中的排序算法。

以A₁₁为基准将X₁₁也同时排序，即按照A₁₁降序排列X₁₁，排序完成后：

其中，X′₁₁为以X₁₁最后一维数据，即A₁₁为基准降序排序完成后的参与方A提交给服务器B的数据集，i∈[1，N]，j∈[1，M]，M，N∈N⁺。

规定一个固定值Thre(同上文Thre)，表示AVF值在正常范围内的阈值，将A′₁₁中的数据，按顺序与Thre比较大小：

Res_i＝Comp(A′_11i，Thre)；

其中，A′_11i表示A′₁₁中的元素，k∈[1，N]，P∈N⁺，Comp()表示Yao’s加密算法中的比较大小算法，Res_i表示A′_11i与Thre比较的结果，若Res_i值为1，表示A′_11i≥Thre；若Res_i值为0，表示A′_11i＜Thre，将A′₁₁中的数据，按顺序与Thre比较大小，直到Res_i＝0，停止比较，将X′₁₁中的前i行数据保留：

其中，I＝i，为排序之后保留的前i行数据，j∈[1，M]，M∈N⁺，X″₁₁为最终数据清洗完成后服务器B所拥有的参与方A的数据集。

3d)服务器B提取自己拿到的参与方B的加密数据集中的最后一维数据，即：

服务器B使用安全加密算法ABY中的Yao’s加密算法中的排序算法对A₂₁进行排序：

A′₂₁＝Sort(A₂₁)；

其中，A₂₁表示服务器B拥有的参与方B的加密数据集中最后一维数据，A′₂₁表示A₂₁按照降序排序完成后的数据，Sort()表示Yao’s加密算法中的排序算法。

以A₂₁为基准将X₂₁也同时排序，即按照A₂₁降序排列X₂₁，排序完成后：

其中，X′₂₁为以X₂₁最后一维数据，即A₂₁为基准降序排序完成后的参与方B提交给服务器B的数据集，k∈[1，P]，j∈[1，M]，M，P∈N⁺。

规定一个固定值Thre(同上文Thre)，表示AVF值在正常范围内的阈值，将A′₂₁中的数据，按顺序与Thre比较大小：

Res_k＝Comp(A′_21k，Thre)；

其中，A′_21k表示A′₂₁中的元素，k∈[1，P]，P∈N⁺，Comp()表示Yao’s加密算法中的比较大小算法，Res_k表示A′_21k与Thre比较的结果，若Res_k值为1，表示A′_21k≥Thre；若Res_k值为0，表示A′_21k＜Thre，将A′_21k中的数据，按顺序与Thre比较大小，直到Res_k＝0，停止比较，将X′₂₁中的前k行数据保留：

其中，K＝k，为排序之后保留的前k行数据，j∈[1，M]，M∈N⁺，X″₂₁为最终数据清洗完成后服务器B所拥有的参与方B的数据集。

3e)最终得到的X″₁₀，X″₁₁，X″₂₀，X″₂₁为最终数据清洗完成后的数据集。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于安全多方计算技术的数据异常点清洗方法，其特征在于，所述基于安全多方计算技术的数据异常点清洗方法包括：

第一步，将A与B两个参与方的数据统一为矩阵格式，拥有相同维度，并且最后一维为该条数据的AVF值；

第二步，参与方A与参与方B利用安全多方计算算法ABY中的Yao’s加密算法对数据矩阵进行加密；

第三步，服务器A与服务器B对各参与方上传的加密数据集进行数据异常点清洗。

2.如权利要求1所述的基于安全多方计算技术的数据异常点清洗方法，其特征在于，所述第一步参与方A与参与方B按照规定统一自有数据集格式：

其中，D₁表示参与方A的N×(M+1)的数据集矩阵，a_ij表示参与方A数据集中的任意数据，avf_ai表示参与方A第i条数据的AVF值，i∈[1，N]，j∈[1，M]，M，N∈N⁺；D₂表示参与方B的P×(M+1)的数据集矩阵，b_kj表示参与方B数据集中的任意数据，avf_bk表示参与方A第k条数据的AVF值，k∈[1，P]，j∈[1，M]，M，P∈N⁺；其中两个参与方的数据维度相同。

3.如权利要求1所述的基于安全多方计算技术的数据异常点清洗方法，其特征在于，所述第二步参与方A与参与方B按照规定加密自有数据集具体包括：

1)利用安全多方计算加密ABY算法中的Yao’s加密算法对参与方A的数据集D₁进行加密：

其中，

表示加密后的数据集交给服务器A的部分，

表示加密后的数据集交给服务器B的部分，Enc表示Yao’s加密算法，D₁表示参与方A的数据集；

具体按照下式加密每一个元素：

其中，

表示加密后的数据交给服务器A的部分，

表示加密后的数据交给服务器B的部分，a_ij表示参与方A的任意数据；

表示加密后的参与方A的第i条数据的AVF值交给服务器A的部分，

表示加密后的参与方A的第i条数据的AVF值交给服务器B的部分，avf_ai表示参与方A的第i条数据的AVF值；

2)利用下式表示加密后的参与方A的数据集：

其中，X₁₀表示服务器A持有的参与方A的加密数据集，X₁₁表示服务器B持有的参与方A的加密数据集，i∈[1，N]，j∈[1，M]，M，N∈N⁺；

3)利用安全多方计算加密ABY算法中的Yao’s加密算法对参与方B的数据集D₂进行加密：

其中，

表示加密后的数据集交给服务器A的部分，

表示加密后的数据集交给服务器B的部分，Enc表示Yao’s加密算法，D₂表示参与方B的数据集；

具体按照下式加密每一个元素：

其中，

表示加密后的数据交给服务器A的部分，

表示加密后的数据交给服务器B的部分，b_kj表示参与方A的任意数据；

表示加密后的参与方B的第k条数据的AVF值交给服务器A的部分，

表示加密后的参与方B的第k条数据的AVF值交给服务器B的部分，avf_bk表示参与方B的第k条数据的AVF值；

4)利用下式表示加密后的参与方B的数据集：

其中，X₂₀表示服务器A持有的参与方B的加密数据集，X₂₁表示服务器B持有的参与方B的加密数据集，k∈[1，P]，j∈[1，M]，M，P∈N⁺；

5)参与方A与参与方B分别将加密后的数据上传至对应服务器。

4.如权利要求1所述的基于安全多方计算技术的数据异常点清洗方法，其特征在于，所述第三步服务器A与服务器B对各参与方上传的加密数据集进行数据异常点清洗具体包括：

1)服务器A提取自己拿到的参与方A的加密数据集中的最后一维数据：

服务器A使用安全加密算法ABY中的Yao’s加密算法中的排序算法对A₁₀进行排序：

A′₁₀＝Sort(A₁₀)；

其中，A₁₀表示服务器A拥有的参与方A的加密数据集中最后一维数据，A′₁₀表示A′₁₀按照降序排序完成后的数据，Sort()表示Yao’s加密算法中的排序算法；

以A₁₀为基准将X₁₀也同时排序，即按照A₁₀降序排列X₁₀，排序完成后：

其中，X′₁₀为以X₁₀最后一维数据，即A₁₀为基准降序排序完成后的参与方A提交给服务器A的数据集，i∈[1，N]，j∈[1，M]，M，N∈N⁺；

规定一个固定值Thre，表示AVF值在正常范围内的阈值，将A′₁₀中的数据，按顺序与Thre比较大小：

Res_i＝Comp(A′_10i，Thre)；

其中，A′_10i表示A′₁₀中的元素，i′[1，N]，N∈N⁺，Comp()表示Yao’s加密算法中的比较大小算法，Res_i表示A′_10i与Thre比较的结果，若Res_i值为1，表示A′_10i≥Thre；若Res_i值为0，表示A′_10i＜Thre，将A′₁₀中的数据，按顺序与Thre比较大小，直到Res_i＝0，停止比较，将X′₁₀中的前i行数据保留：

其中，I＝i，为排序之后保留的前i行数据，j∈[1，M]，M∈N⁺，X″₁₀为最终数据清洗完成后服务器A所拥有的参与方A的数据集；

2)服务器A提取自己拿到的参与方B的加密数据集中的最后一维数据：

服务器A使用安全加密算法ABY中的Yao’s加密算法中的排序算法对A′₂₀进行排序：

A′₂₀＝Sort(A₂₀)；

其中，A₂₀表示服务器A拥有的参与方B的加密数据集中最后一维数据，A′₂₀表示A₂₀按照降序排序完成后的数据，Sore()表示Yao’s加密算法中的排序算法；

以A₂₀为基准将X₂₀也同时排序，即按照A₂₀降序排列X₂₀，排序完成后：

其中，X′₂₀为以X₂₀最后一维数据，即A₂₀为基准降序排序完成后的参与方B提交给服务器A的数据集，k∈[1，P]，j∈[1，M]，M，P∈N⁺；

规定一个固定值Thre，表示AVF值在正常范围内的阈值，将A′₂₀中的数据，按顺序与Thre比较大小：

Res_k＝Comp(A′_20k，Thre)；

其中，A′_20k表示A′₂₀中的元素，k∈[1，P]，P∈N⁺，Comp()表示Yao’s加密算法中的比较大小算法，Res_k表示A′_20k与Thre比较的结果，若Res_k值为1，表示A′_20k≥Thre；若Res_k值为0，表示A′_20k＜Thre，将A′₂₀中的数据，按顺序与Thre比较大小，直到Res_k＝0，停止比较，将X′₂₀中的前k行数据保留：

其中，K＝k，为排序之后保留的前k行数据，j∈[1，M]，M∈N⁺，X″₂₀为最终数据清洗完成后服务器A所拥有的参与方B的数据集；

3)服务器B提取自己拿到的参与方A的加密数据集中的最后一维数据：

服务器B使用安全加密算法ABY中的Yao’s加密算法中的排序算法对A₁₁进行排序：

A′₁₁＝Sort(A₁₁)；

其中，A₁₁表示服务器B拥有的参与方A的加密数据集中最后一维数据，A′₁₁表示A₁₁按照降序排序完成后的数据，Sort()表示Yao’s加密算法中的排序算法；

以A₁₁为基准将X₁₁也同时排序，即按照A₁₁降序排列X₁₁，排序完成后：

其中，A′₁₁为以X₁₁最后一维数据，即A₁₁为基准降序排序完成后的参与方A提交给服务器B的数据集，i∈[1，N]，j∈[1，M]，M，N∈N⁺；

规定一个固定值Thre，表示AVF值在正常范围内的阈值，将A′₁₁中的数据，按顺序与Thre比较大小：

Res_i＝Comp(A′_11i，Thre)；

其中，A′_11i表示A′₁₁中的元素，i∈[1，N]，N∈N⁺，Comp()表示Yao’s加密算法中的比较大小算法，Res_i表示A′_11i与Thre比较的结果，若Res_i值为1，表示A′_11i≥Thre；若Res_i值为0，表示A′_11i＜Thre，将A′₁₁中的数据，按顺序与Thre比较大小，直到Res_i＝0，停止比较，将X′₁₁中的前i行数据保留：

其中，I＝i，为排序之后保留的前i行数据，j∈[1，M]，M∈N⁺，X″₁₁为最终数据清洗完成后服务器B所拥有的参与方A的数据集；

4)服务器B提取自己拿到的参与方B的加密数据集中的最后一维数据：

服务器B使用安全加密算法ABY中的Yao’s加密算法中的排序算法对A₂₁进行排序：

A′₂₁＝Sort(A₂₁)；

其中，A′₂₁表示服务器B拥有的参与方B的加密数据集中最后一维数据，A′₂₁表示A₂₁按照降序排序完成后的数据，Sort()表示Yao’s加密算法中的排序算法；

以A₂₁为基准将X₂₁也同时排序，即按照A₂₁降序排列X₂₁，排序完成后：

其中，X′₂₁为以X₂₁最后一维数据，即A₂₁为基准降序排序完成后的参与方B提交给服务器B的数据集，k∈[1，P]，j∈[1，M]，M，P∈N⁺；

规定一个固定值Thre，表示AVF值在正常范围内的阈值，将A′₂₁中的数据，按顺序与Thre比较大小：

Res_k＝Comp(A′_21k，Thre)；

其中，A′_21k表示A′₂₁中的元素，k∈[1，P]，P∈N⁺，Comp()表示Yao’s加密算法中的比较大小算法，Res_k表示A′_21k与Thre比较的结果，若Res_k值为1，表示A′_21k≥Thre；若Res_k值为0，表示A′_21k＜Thre，将A′₂₁中的数据，按顺序与Thre比较大小，直到Res_k＝0，停止比较，将X′₂₁中的前k行数据保留：

其中，K＝k，为排序之后保留的前k行数据，j∈[1，M]，M∈M⁺，X″₂₁为最终数据清洗完成后服务器B所拥有的参与方B的数据集；

5)最终得到的X″₁₀，X″₁₁，X″₂₀，X″₂₁为最终数据清洗完成后的数据集。

5.一种应用权利要求1～4任意一项所述基于安全多方计算技术的数据异常点清洗方法的机器学习系统。

Images