CN107451157B - 异常数据识别方法、装置及系统、搜索方法及装置 - Google Patents
异常数据识别方法、装置及系统、搜索方法及装置 Download PDFInfo
- Publication number
- CN107451157B CN107451157B CN201610380659.3A CN201610380659A CN107451157B CN 107451157 B CN107451157 B CN 107451157B CN 201610380659 A CN201610380659 A CN 201610380659A CN 107451157 B CN107451157 B CN 107451157B
- Authority
- CN
- China
- Prior art keywords
- node
- probability
- nodes
- data
- node set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请实施方式公开了异常数据识别方法、装置及系统、搜索方法及装置。异常数据识别方法包括:建立第一类型主体节点和第二类型主体节点间的数据关联网络;分别设置第一类型主体节点和第二类型主体节点的初始异常概率;建立第一节点集合和第二节点集合;基于第一节点集合的节点和第二节点集合的节点间的有向关联关系,修正第一节点集合和第二节点集合中节点的初始异常概率;基于第一节点集合和第二节点集合中节点修正后的初始异常概率,计算数据关联网络中关联数据的异常概率;基于关联数据的异常概率,识别数据关联网络中的异常关联数据。本申请实施方式中的异常数据识别方法、装置及系统、搜索方法及装置,可以提高异常数据识别的准确性。
Description
技术领域
本申请涉及数据处理技术领域,特别涉及一种异常数据识别方法、装置及系统、搜索方法及装置。
背景技术
网络交互平台每天产生着大量的数据。例如,博客、微博等网络交互平台,每天都在产生着大量的访问量数据。又如,购物网站等网络交互平台,每天也都在产生着大量的交易量数据。在网络交互平台产生的数据中,可能存在一些异常数据。这些异常数据一般会影响到网络交互平台的正常运行。因此,需要对网络交互平台产生的异常数据进行识别。
现有技术中,异常数据的识别方法一般如下:
采用人工的方式预先识别出预设数量的异常数据,并统计所述异常数据的特征值;然后,逐一计算网络交互平台产生的每个数据的特征值,并将该特征值与所述异常数据的特征值进行比对,从而识别出异常数据。
发明人发现现有技术中至少存在如下问题:
上述现有技术中,以统计的异常数据特征值为基准,识别网络交互平台产生的数据是否为异常数据。因此,异常数据识别的准确性依赖于统计的异常数据特征值的准确性。但是,在实际情况下,网络交互平台会产生海量的数据。在所述海量数据中,异常数据一般有着极其复杂的表现形式。通过统计得到的异常数据特征值,通常无法准确地反映出所述海量数据中异常数据的各种表现形式。因此,上述现有技术中,统计的异常数据特征值的准确性较低,造成异常数据识别的准确性较低,难以满足实际的需求。
发明内容
本申请实施例的目的是提供一种异常数据识别方法、装置及系统、搜索方法及装置,以提高异常数据识别的准确性。
为解决上述技术问题,本申请实施方式提供的异常数据识别方法、装置及系统、搜索方法及装置是这样实现的:
一种异常数据识别方法,包括:
以网络交互平台进行数据交互的第一类型主体和第二类型主体为节点,建立所述第一类型主体节点和所述第二类型主体节点间的数据关联网络,所述数据关联网络包括节点间的有向关联关系和关联数据;
分别设置所述第一类型主体节点和所述第二类型主体节点的初始异常概率;
以所述第一类型主体节点和所述第二类型主体节点建立第一节点集合和第二节点集合,其中,所述第一节点集合中节点对应的主体为第一类型主体,所述第二节点集合中节点对应的主体为第二类型主体;
基于随机游走概率图模型,使用所述第一节点集合的节点和所述第二节点集合的节点间的有向关联关系和关联数据,对所述第一节点集合和所述第二节点集合中节点的初始异常概率进行运算,以修正所述第一节点集合和所述第二节点集合中节点的初始异常概率;
基于所述第一节点集合和所述第二节点集合中节点修正后的初始异常概率,计算所述数据关联网络中关联数据的异常概率;
基于关联数据的异常概率,识别所述数据关联网络中的异常关联数据。
一种异常数据识别装置,包括:
第一建立模块,用于以网络交互平台进行数据交互的第一类型主体和第二类型主体为节点,建立所述第一类型主体节点和所述第二类型主体节点间的数据关联网络,所述数据关联网络包括节点间的有向关联关系和关联数据;
设置模块,用于分别设置所述第一类型主体节点和所述第二类型主体节点的初始异常概率;
第二建立模块,用于以所述第一类型主体节点和所述第二类型主体节点建立第一节点集合和第二节点集合,其中,所述第一节点集合中节点对应的主体为第一类型主体,所述第二节点集合中节点对应的主体为第二类型主体;
运算模块,用于基于随机游走概率图模型,使用所述第一节点集合的节点和所述第二节点集合的节点间的有向关联关系和关联数据,对所述第一节点集合和所述第二节点集合中节点的初始异常概率进行运算,以修正所述第一节点集合和所述第二节点集合中节点的初始异常概率;
计算模块,用于基于所述第一节点集合和所述第二节点集合中节点修正后的初始异常概率,计算所述数据关联网络中关联数据的异常概率;
识别模块,用于基于关联数据的异常概率,识别所述数据关联网络中的异常关联数据。
一种搜索方法,包括:
接收用户的查询请求;
根据匹配所述查询请求的搜索结果对应的关联数据的异常概率,对匹配所述查询请求的搜索结果进行排序;
将排序的搜索结果返回给用户;
其中,所述关联数据的异常概率的值可以采用下述方法来确定:
以网络交互平台进行数据交互的第一类型主体和第二类型主体为节点,建立所述第一类型主体节点和所述第二类型主体节点间的数据关联网络,所述数据关联网络包括节点间的有向关联关系和关联数据;
分别设置所述第一类型主体节点和所述第二类型主体节点的初始异常概率;
以所述第一类型主体节点和所述第二类型主体节点建立第一节点集合和第二节点集合,其中,所述第一节点集合中节点对应的主体为第一类型主体,所述第二节点集合中节点对应的主体为第二类型主体;
基于随机游走概率图模型,使用所述第一节点集合的节点和所述第二节点集合的节点间的有向关联关系和关联数据,对所述第一节点集合和所述第二节点集合中节点的初始异常概率进行运算,以修正所述第一节点集合和所述第二节点集合中节点的初始异常概率;
基于所述第一节点集合和所述第二节点集合中节点修正后的初始异常概率,计算所述数据关联网络中关联数据的异常概率。
一种搜索装置,包括:
接收模块,用于接收用户的查询请求;
排序模块,用于根据匹配所述查询请求的搜索结果对应的关联数据的异常概率,对匹配所述查询请求的搜索结果进行排序;
其中,所述关联数据的异常概率的值的确定包括:
以网络交互平台进行数据交互的第一类型主体和第二类型主体为节点,建立所述第一类型主体节点和所述第二类型主体节点间的数据关联网络,所述数据关联网络包括节点间的有向关联关系和关联数据;
分别设置所述第一类型主体节点和所述第二类型主体节点的初始异常概率;
以所述第一类型主体节点和所述第二类型主体节点建立第一节点集合和第二节点集合,其中,所述第一节点集合中节点对应的主体为第一类型主体,所述第二节点集合中节点对应的主体为第二类型主体;
基于随机游走概率图模型,使用所述第一节点集合的节点和所述第二节点集合的节点间的有向关联关系和关联数据,对所述第一节点集合和所述第二节点集合中节点的初始异常概率进行运算,以修正所述第一节点集合和所述第二节点集合中节点的初始异常概率;
基于所述第一节点集合和所述第二节点集合中节点修正后的初始异常概率,计算所述数据关联网络中关联数据的异常概率;
返回模块,用于将排序的搜索结果返回给用户。
一种异常数据识别系统,包括:处理器、存储器及存储于所述存储器中的应用程序,所述应用程序包括由所述处理器执行的至少如下指令:
以网络交互平台进行数据交互的第一类型主体和第二类型主体为节点,建立所述第一类型主体节点和所述第二类型主体节点间的数据关联网络,所述数据关联网络包括节点间的有向关联关系和关联数据;
分别设置所述第一类型主体节点和所述第二类型主体节点的初始异常概率;
以所述第一类型主体节点和所述第二类型主体节点建立第一节点集合和第二节点集合,其中,所述第一节点集合中节点对应的主体为第一类型主体,所述第二节点集合中节点对应的主体为第二类型主体;
基于随机游走概率图模型,使用所述第一节点集合的节点和所述第二节点集合的节点间的有向关联关系和关联数据,对所述第一节点集合和所述第二节点集合中节点的初始异常概率进行运算,以修正所述第一节点集合和所述第二节点集合中节点的初始异常概率;
基于所述第一节点集合和所述第二节点集合中节点修正后的初始异常概率,计算所述数据关联网络中关联数据的异常概率;
基于关联数据的异常概率,识别所述数据关联网络中的异常关联数据。
由以上本申请实施方式提供的技术方案可见,本申请实施方式可以以网络交互平台进行数据交互的第一类型主体和第二类型主体为节点,建立所述第一类型主体节点和所述第二类型主体节点间的数据关联网络。在分别设置第一类型主体节点和第二类型主体节点的初始异常概率后,可以以第一类型主体节点和第二类型主体节点建立第一节点集合和第二节点集合;并基于随机游走概率图模型,使用所述第一节点集合的节点和所述第二节点集合的节点间的有向关联关系和关联数据,对所述第一节点集合中节点的初始异常概率和所述第二节点集合中节点的初始异常概率进行运算,以修正所述第一节点集合中节点的初始异常概率和所述第二节点集合中节点的初始异常概率;基于所述第一节点集合中节点修正后的初始异常概率,以及所述第二节点集合中节点修正后的初始异常概率,可以识别所述数据关联网络中的异常关联数据。与现有技术相比,本申请实施方式可以不依赖于统计的特征值对异常数据进行识别,而是利用数据关联网络中节点间的有向关联关系和关联数据,识别所述数据关联网络中的异常关联数据。因此,本申请实施方式可以提高异常数据识别的准确性。。
附图说明
为了更清楚地说明本申请实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施方式中一种异常数据识别方法的流程图;
图2为本申请实施方式中一种数据关联网络的示意图;
图3为本申请实施方式中一种对第一节点集合和第二节点集合中节点的初始异常概率进行运算的流程图;
图4为本申请实施方式中另一种数据关联网络的示意图;
图5为本申请实施方式中一种搜索方法的流程图;
图6为本申请实施方式中一种异常数据识别装置的功能结构示意图;
图7为本申请实施方式中一种搜索装置的功能结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施方式中的附图,对本申请实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本申请一部分实施方式,而不是全部的实施方式。基于本申请中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都应当属于本申请保护的范围。
下面介绍本申请异常数据识别方法的一个实施方式。如图1所示,该实施方式可以包括:
S101:以网络交互平台进行数据交互的第一类型主体和第二类型主体为节点,建立所述第一类型主体节点和所述第二类型主体节点间的数据关联网络,所述数据关联网络包括节点间的有向关联关系和关联数据。
在本实施方式中,两个或两个以上的主体可以通过网络交互平台进行数据交互。依据通过网络交互平台进行数据交互时所起的作用,可以将所述两个或两个以上的主体划分为两种不同的类型,即,可以将所述两个或两个以上的主体划分为第一类型主体和第二类型主体。所述网络交互平台可以包括购物网站、博客、以及微博等。所述类型可以包括买家、商品、信息发布者、以及信息访问者等。例如,依据通过购物网站进行数据交互时所起的作用,可以将所述两个或两个以上的主体划分为买家类型和商品类型。又如,依据通过微博进行数据交互时所起的作用,可以将所述两个或两个以上的主体划分为信息发布者类型和信息访问者类型。
所述第一类型主体的数量可以为一个或多个,所述第二类型主体的数量也可以为一个或多个。那么,可以将每个第一类型主体作为一个节点,将每个第二类型主体作为一个节点,建立第一类型主体节点和第二类型主体节点间的数据关联网络。其中,所述第一类型主体节点一般为第一类型主体对应的节点,所述第二类型主体节点一般为第二类型主体对应的节点。例如,第一类型主体可以包括买家X1和买家X2,第二类型主体可以包括商品Y1_1和商品Y1_2。商品Y1_1为卖家L的商品Y1,商品Y1_2为卖家M的商品Y1。那么,可以将买家X1作为节点A1,将买家X2作为节点A2,将商品Y1_1作为节点B1,将商品Y1_2作为节点B2,建立节点A1、节点A2、节点B1、以及节点B2间的数据关联网络。其中,节点A1和节点A2为第一类型主体节点,节点B1和节点B2为第二类型主体节点。
所述有向关联关系可以指节点间具有方向的关联关系,具体可以包括单向关联关系和双向关联关系。例如,节点A3与节点B3间的有向关联关系,可以指节点A3指向节点B3的单向关联关系;或者,还可以指节点B3指向节点A3的单向关联关系;又或者,还可以指节点A3和节点B3的双向关联关系,即,同时包括了节点A3指向节点B3的单向关联关系和节点B3指向节点A3的单向关联关系。
在所述数据关联网络中,每个节点可以与一个或多个节点具有有向关联关系。所述有向连接关系可以由节点对应主体间的交互关系得到。具体地,可以记录第一类型主体和第二类型主体间的交互关系。根据所述第一类型主体和第二类型主体间的交互关系,可以确定所述数据关联网络中节点间的有向连接关系。例如,第一类型主体可以包括买家X4和买家X5,第二类型主体可以包括商品Y4和商品Y5。买家X4和买家X5可以通过购物网站分别与商品Y4进行数据交互,买家X4还可以通过所述购物网站与商品Y5进行数据交互。那么,可以将买家X4作为节点A4,将买家X5作为节点A5,将商品Y4作为节点B4,将商品Y5作为节点B5,建立节点A4、节点A5、节点B4、以及节点B5间的数据关联网络,并可以确定节点A4与节点B4间的双向关联关系、节点A5与节点B4间的双向关联关系、以及节点A4与节点B5间的双向连接关系。
在所述数据关联网络中,每个节点可以与一个或多个节点具有关联数据。所述关联数据可以由节点对应主体间的交互数据得到。具体地,可以记录第一类型主体和第二类型主体间的交互数据。根据所述第一类型主体和第二类型主体间的交互数据,可以确定所述数据关联网络中节点间的关联数据。例如,节点A1对应的主体为买家X1,节点A2对应的主体为买家X2,节点B1对应的主体为商品Y1_1,节点B2对应的主体为商品Y1_2。那么,节点A1与节点B1间的关联数据,可以为买家X1与商品Y1_1间的交互数据,即,买家X1购买商品Y1_1的数量;节点A2与节点B1间的关联数据,可以为买家X2与商品Y1_1间的交互数据,即,买家X2购买商品Y1_1的数量;节点A2与节点B2间的关联数据,可以为买家X2与商品Y1_2间的交互数据,即,买家X2购买商品Y1_2的数量。
图2为一数据关联网络的示意图。在图2所示的数据关联网络中,节点A1与节点B1间具有双向关联关系,其关联数据为NUM_X1_Y1;节点A2与节点B1间具有双向关联关系,其关联数据为NUM_X2_Y1;节点A2与节点B2间具有双向关联关系,其关联数据为NUM_X2_Y2。在图2所示的数据关联网络中,节点A1和节点A2为第一类型主体节点,节点B1和节点B2为第二类型主体节点。
S102:分别设置所述第一类型主体节点和所述第二类型主体节点的初始异常概率。
在本实施方式中,第一类型主体节点的初始异常概率和第二类型主体节点的初始异常概率可以相同,也可以不同。例如,图2所示的数据关联网络中,节点A1和节点B2的初始异常概率可以设置为1,节点A2和节点B1的初始异常概率可以为设置0。
所述初始异常概率可以预先设定,也可以通过预设算法计算得到。所述预设算法可以包括SimRank算法、PageRank算法等。
例如,可以从数据关联网络中识别出预设数量个作弊节点,其中,所述作弊节点可以为第一类型主体节点或第二类型主体节点;将所述预设数量个作弊节点的初始异常概率设置为1,将所述数据关联网络中除去作弊节点外剩余节点的初始异常概率设置为0。
S103:以所述第一类型主体节点和所述第二类型主体节点建立第一节点集合和第二节点集合,其中,第一节点集合中节点对应的主体为第一类型主体,第二节点集合中节点对应的主体为第二类型主体。
在本实施方式中,对于所述数据关联网络,可以将第一类型主体节点作为第一节点集合中的节点,从而形成第一节点集合;可以将第二类型主体节点作为第二节点集合中的节点,从而形成第二节点集合。
例如,图2所示的数据关联网络中,节点A1和节点A2为第一类型主体节点,节点B1和节点B2为第二类型主体节点。那么,可以将节点A1和节点A2作为第一节点集合中的节点,将节点B1和节点B2作为第二节点集合中的节点。
S104:基于随机游走概率图模型,使用所述第一节点集合的节点和所述第二节点集合的节点间的有向关联关系和关联数据,对所述第一节点集合和所述第二节点集合中节点的初始异常概率进行运算,以修正所述第一节点集合和所述第二节点集合中节点的初始异常概率。
所述随机游走概率图模型(Random Surfer Model)为一种数学模型。在设置数据关联网络中节点的初始异常概率后,利用所述随机游走概率图模型,可以对所述数据关联网络中节点的初始异常概率进行运算,以修正所述数据关联网络中节点的初始异常概率。
在一个实施方式中,可以通过如下的子步骤对第一节点集合和第二节点集合中节点的初始异常概率进行运算。如图3所示,该子步骤可以包括:
S301:对于第一节点集合中的每个第一指定节点,依据节点间的有向关联关系,从第二节点集合中选择有向关联关系为指向该第一指定节点的节点来建立第三节点集合;基于所述第三节点集合中各节点与该第一指定节点间的关联数据、以及所述第三节点集合中各节点的初始异常概率,计算该第一指定节点的目标概率。
在本实施方式中,对于第一节点集合中的每个节点,可以将该节点作为第一指定节点;依据节点间的有向关联关系,可以从第二节点集合中选择有向关联关系为指向该第一指定节点的节点来建立第三节点集合;基于所述第三节点集合中各节点与该第一指定节点间的关联数据,可以计算所述第三节点集合中各节点与该第一指定节点的关联权重;基于所述第三节点集合中各节点与该第一指定节点的关联权重,以及所述第三节点集合中各节点的初始异常概率,可以计算该第一指定节点的目标概率。
为了减小所述第一节点集合中节点初始异常概率的修正幅度,提高异常数据识别的准确率,可以使用第一预设收敛系数计算该第一指定节点的目标概率。具体地,可以基于所述第三节点集合中各节点与该第一指定节点的关联权重、所述第三节点集合中各节点的初始异常概率、该第一指定节点的初始异常概率、以及第一预设收敛系数,计算该第一指定节点的目标概率。所述第一预设收敛系数可以为0至1之间的任一实数,例如可以为0.8。
S302:对于第二节点集合中的每个第二指定节点,依据节点间的有向关联关系,从第一节点集合中选择有向关联关系为指向该第二指定节点的节点来建立第四节点集合;基于所述第四节点集合中各节点与该第二指定节点间的关联数据、以及所述第四节点集合中各节点的目标概率,计算该第二指定节点的目标概率。
在本实施方式中,对于第二节点集合中的每个节点,可以将该节点作为第二指定节点;依据节点间的有向关联关系,可以从第一节点集合中选择有向关联关系为指向该第二指定节点的节点来建立第四节点集合;基于所述第四节点集合中各节点与该第二指定节点间的关联数据,可以计算所述第四节点集合中各节点与该第二指定节点的关联权重;基于所述第四节点集合中各节点与该第二指定节点的关联权重,以及所述第四节点集合中各节点的目标概率,可以计算该第二指定节点的目标概率。
为了减小所述第二节点集合中节点初始异常概率的修正幅度,提高异常数据识别的准确率,可以使用第二预设收敛系数计算该第二指定节点的异常概率。具体地,可以基于所述第四节点集合中各节点与该第二指定节点的关联权重、所述第四节点集合中各节点的异常概率、该第二指定节点的初始异常概率、以及第二预设收敛系数,计算该第二指定节点的目标概率。所述第二预设收敛系数可以为0至1之间的任一实数,例如可以为0.8。所述第二预设收敛系数与所述第一预设收敛系数的值可以相同,也可以不同。
图4为另一数据关联网络的示意图。在图4所示的数据关联网络中,节点A1、节点A2、以及节点A3为第一节点集合中的节点。节点B1、节点B2、以及节点B3为第二节点集合中的节点。节点A1与节点B1间具有双向关联关系,其关联数据为2;节点A2与节点B1间具有双向关联关系,其关联数据为3;节点A1与节点B2间具有双向关联关系,其关联数据为1;节点A2与节点B2间具有双向关联关系,其关联数据为2;节点A3与节点B2间具有双向关联关系,其关联数据为2;节点A1与节点B3间具有双向关联关系,其关联数据为2;节点A3与节点B3间具有双向关联关系,其关联数据为3。节点A1的初始异常概率为PA1(S1),节点A2的初始异常概率为PA2(S1),节点A3的初始异常概率为PA3(S1);节点B1的初始异常概率为PB1(S1),节点B2的初始异常概率为PB2(S1),节点B3的初始异常概率为PB3(S1)。
基于图4所示的数据关联网络,下面介绍本实施例的一个应用场景。
在该应用场景中,对于第一节点集合中的节点A1,可以从第二节点集合中获取有向关联关系为指向节点A1的节点B1、节点B2、以及节点B3,并将节点B1、节点B2、以及节点B3组成的集合作为第三节点集合;基于第三节点集合中节点B1、节点B2、以及节点B3分别与节点A1的关联数据,可以计算得到节点B1与节点A1的关联权重mB1_A1的值为节点B2与节点A1的关联权重mB2_A1的值为节点B3与节点A1的关联权重mB3_A1的值为基于节点B1与节点A1的关联权重、节点B2与节点A1的关联权重、节点B3与节点A1的关联权重、节点B1的初始异常概率、节点B2的初始异常概率、以及节点B3的初始异常概率,可以通过如下的公式(1)计算节点A1的目标概率PA1(S2)。
PA1(S2)=mB1_A1PB1(S1)+mB2_A1PB2(S1)+mB3_A1PB3(S1) (1)
上述公式(1)中,
相类似地,可以通过如下的公式(2)计算节点A2的目标概率PA2(S2)。
PA2(S2)=mB1_A2PB1(S1)+mB2_A2PB2(S1) (2)
上述公式(2)中,
相类似地,可以通过如下的公式(3)计算节点A3的目标概率PA3(S2)。
PA3(S2)=mB2_A3PB2(S1)+mB3_A3PB3(S1) (3)
上述公式(3)中,
对于第二节点集合中的节点B1,可以从第一节点集合中获取有向关联关系为指向节点B1的节点A1、以及节点A2,并将节点A1、以及节点A2组成的集合作为第四节点集合;基于第四节点集合中节点A1、以及节点A2分别与节点B1的关联数据,可以计算得到节点A1与节点B1的关联权重nA1_B1的值为节点A2与节点B1的关联权重nA2_B1的值为基于节点A1与节点B1的关联权重、节点A2与节点B1的关联权重、节点A1的目标概率、以及节点A2的目标概率,可以通过如下的公式(4)计算节点B1的目标概率PB1(S2)。
PB1(S2)=nA1_B1PA1(S2)+nA2_B1PA2(S2) (4)
上述公式(4)中,
PA1(S2)为节点A1的目标概率;
PA2(S2)为节点A2的目标概率;
相类似地,可以通过如下的公式(5)计算节点B2的目标概率PB2(S2)。
PB2(S2)=nA1_B2PA1(S2)+nA2_B2PA2(S2)+nA3_B2PA3(S2) (5)
上述公式(5)中,
PA1(S2)为节点A1的目标概率;
PA2(S2)为节点A2的目标概率;
PA3(S2)为节点A3的目标概率;
相类似地,可以通过如下的公式(6)计算节点B3的目标概率PB3(S2)。
PB3(S2)=nA1_B3PA1(S2)+nA3_B3PA3(S2) (6)
上述公式(6)中,
PA1(S2)为节点A1的目标概率;
PA3(S2)为节点A3的目标概率;
基于图4所示的数据关联网络,下面介绍本实施例的另一个应用场景。
在该应用场景中,对于第一节点集合中的节点A1,可以从第二节点集合中获取有向关联关系为指向节点A1的节点B1、节点B2、以及节点B3,并将节点B1、节点B2、以及节点B3组成的集合作为第三节点集合;基于第三节点集合中节点B1、节点B2、以及节点B3分别与节点A1的关联数据,可以计算得到节点B1与节点A1的关联权重mB1_A1的值为节点B2与节点A1的关联权重mB2_A1的值为节点B3与节点A1的关联权重mB3_A1的值为基于节点B1与节点A1的关联权重、节点B2与节点A1的关联权重、节点B3与节点A1的关联权重、节点B1的初始异常概率、节点B2的初始异常概率、节点B3的初始异常概率、节点A1的初始异常概率、以及第一预设收敛系数,可以通过如下的公式(7)计算节点A1的目标概率PA1(S2)。
PA1(S2)=(1-α1)PA1(S1)+α1[mB1_A1PB1(S1)+mB2_A1PB2(S1)+mB3_A1PB3(S1)] (7)
上述公式(7)中,
α1为第一预设收敛系数。
相类似地,可以通过如下的公式(8)计算节点A2的目标概率PA2(S2)。
PA2(S2)=(1-α1)PA2(S1)+α1[mB1_A2PB1(S1)+mB2_A2PB2(S1)] (8)
上述公式(8)中,
相类似地,可以通过如下的公式(9)计算节点A3的目标概率PA3(S2)。
PA3(S2)=(1-α1)PA3(S1)+α1[mB2_A3PB2(S1)+mB3_A3PB3(S1)] (9)
上述公式(9)中,
对于第二节点集合中的节点B1,可以从第一节点集合中获取有向关联关系为指向节点B1的节点A1、以及节点A2,并将节点A1、以及节点A2组成的集合作为第四节点集合;基于第四节点集合中节点A1、以及节点A2分别与节点B1的关联数据,可以计算得到节点A1与节点B1的关联权重nA1_B1的值为节点A2与节点B1的关联权重nA2_B1的值为基于节点A1与节点B1的关联权重、节点A2与节点B1的关联权重、节点A1的目标概率、节点A2的目标概率、节点B1的初始异常概率、以及第二预设收敛系数,可以通过如下的公式(10)计算节点B1的目标概率PB1(S2)。
PB1(S2)=(1-α2)PB1(S1)+α2[nA1_B1PA1(S2)+nA2_B1PA2(S2)] (10)
上述公式(10)中,
PA1(S2)为节点A1的目标概率;
PA2(S2)为节点A2的目标概率;
α2为第二预设收敛系数。
相类似地,可以通过如下的公式(11)计算节点B2的目标概率PB2(S2)。
PB2(S2)=(1-α2)PB2(S1)+α2[nA1_B2PA1(S2)+nA2_B2PA2(S2)+nA3_B2PA3(S2)] (11)
上述公式(11)中,
PA1(S2)为节点A1的目标概率;
PA2(S2)为节点A2的目标概率;
PA3(S2)为节点A3的初始异常概率;
相类似地,可以通过如下的公式(12)计算节点B3的目标概率PB3(S2)。
PB3(S2)=(1-α2)PB3(S1)+α2[nA1_B3PA1(S2)+nA3_B3PA3(S2)] (12)
上述公式(12)中,
PA1(S2)为节点A1的目标概率;
PA3(S2)为节点A3的目标概率;
S303:使用所述第一节点集合中每个节点的目标概率更新该节点的初始异常概率,使用所述第二节点集合中每个节点的目标概率更新该节点的初始异常概率。
在本实施方式中,对于第一节点集合中的每个第一指定节点,可以使用该第一指定节点的目标概率更新该第一指定节点的初始异常概率。对于第二节点集合中的每个第二指定节点,可以使用该第二指定节点的目标概率更新该第二指定节点的初始异常概率。
在另一个实施方式中,为了精细化处理,提高所述第一节点集合中节点初始异常概率修正的准确性,以及所述第二节点集合中节点初始异常概率修正的准确性,在步骤S303之后,所述方法还可以包括如下的步骤:
S304:判断所述第一节点集合中每个节点的属性和所述第二节点集合中每个节点的属性是否符合预设判断规则。
在本实施方式中,所述属性可以包括节点的初始异常概率和迭代次数。所述迭代次数一般为节点初始异常概率的更新次数。例如,当一节点初始异常概率的更新次数为1时,该节点的迭代次数为1。又如,当另一节点初始异常概率的更新次数为2时,该另一节点的迭代次数为2。
在一个实施方式中,判断所述第一节点集合中每个节点的属性是否符合预设判断规则,可以包括:判断所述第一节点集合中每个节点的初始异常概率是否小于第二预设阈值。
相应地,判断所述第二节点集合中每个节点的属性是否符合预设判断规则,可以包括:判断所述第二节点集合中每个节点的初始异常概率是否小于第二预设阈值。
所述第二预设阈值可以根据实际需要灵活设置。
在另一个实施方式中,判断所述第一节点集合中每个节点的属性是否符合预设判断规则,可以包括:判断所述第一节点集合中每个节点的迭代次数是否大于第三预设阈值。
相应地,所述判断所述第二节点集合中每个节点的属性是否符合预设判断规则,可以包括:判断所述第二节点集合中每个节点的迭代次数是否大于第三预设阈值。
所述第三预设阈值可以根据实际需要灵活设置。
S305:若判断结果为否,对所述第一节点集合中节点的初始异常概率和所述第二节点集合中节点的初始异常概率进行迭代运算。
在本实施方式中,所述迭代运算的过程可以包括:
将所述第一节点集合中每个节点的初始异常概率作为该节点的当前概率,将所述第二节点集合中每个节点的初始异常概率作为该节点的当前概率;
对于第一节点集合中的每个第一指定节点,依据节点间的有向关联关系,从第二节点集合中选择有向关联关系为指向该第一指定节点的节点来建立第三节点集合;基于所述第三节点集合中各节点与该第一指定节点间的关联数据、以及所述第三节点集合中各节点的当前概率,计算该第一指定节点的目标概率;
对于第二节点集合中的每个第二指定节点,依据节点间的有向关联关系,从第一节点集合中选择有向关联关系为指向该第二指定节点的节点来建立第四节点集合;基于所述第四节点集合中各节点与该第二指定节点间的关联数据、以及所述第四节点集合中各节点的当前概率,计算该第二指定节点的目标概率;
使用所述第一节点集合中每个节点的目标概率更新该节点的初始异常概率,使用所述第二节点集合中每个节点的目标概率更新该节点的初始异常概率。
在另一个实施方式中,为了进一步提高所述第一节点集合中节点初始异常概率修正的准确性,以及所述第二节点集合中节点初始异常概率修正的准确性,所述方法还可以包括循环迭代的过程。即,在步骤S305之后,可以继续执行步骤S304和步骤S305,直至所述第一节点集合中每个节点的属性和所述第二节点集合中每个节点的属性均符合预设判断规则为止。
S105:基于所述第一节点集合和所述第二节点集合中节点修正后的初始异常概率,计算所述数据关联网络中关联数据的异常概率。
在本实施方式中,所述计算所述数据关联网络中关联数据的异常概率,可以包括:将具有有向关联关系的两个节点修正后的初始异常概率的乘积,作为该两个节点间关联数据的异常概率。
例如,节点A1和节点B1间具有有向关联关系。节点A1修正后的初始异常概率为PA1(S2),节点B1修正后的初始异常概率为PB1(S2)。那么,可以将PA1(S2)×PB1(S2)作为节点A1和节点B1间关联数据的异常概率。
具体地,对于第一节点集合中的每个节点,可以将该节点作为第三指定节点;依据节点间的有向关联关系,可以从第二节点集合中选择有向关联关系为指向该第三指定节点的节点来建立第五节点集合;对于第五节点集合中的每个节点,可以将该节点作为第四指定节点,并将该第四指定节点更新后的初始异常概率与该第三指定节点更新后的初始异常概率的乘积,作为该第四指定节点与该第三指定节点间关联数据的异常概率。对于第二节点集合中的每个节点,可以将该节点作为第五指定节点;依据节点间的有向关联关系,可以从第一节点集合中选择有向关联关系为指向该第五指定节点的节点来建立第六节点集合;对于第六节点集合中的每个节点,可以将该节点作为第六指定节点,并将该第五指定节点更新后的初始异常概率与该第六指定节点更新后的初始异常概率的乘积,作为该第五指定节点与该第六指定节点间关联数据的异常概率。
S106:基于关联数据的异常概率,识别所述数据关联网络中的异常关联数据。
在本实施方式中,可以判断所述数据关联网络中异常概率大于第一预设阈值的关联数据为异常关联数据。
图1所对应的实施方式,可以以网络交互平台进行数据交互的第一类型主体和第二类型主体为节点,建立所述第一类型主体节点和所述第二类型主体节点间的数据关联网络。在分别设置第一类型主体节点和第二类型主体节点的初始异常概率后,可以以第一类型主体节点和第二类型主体节点建立第一节点集合和第二节点集合;并基于所述第一节点集合的节点和所述第二节点集合的节点间的有向关联关系,对所述第一节点集合中节点的初始异常概率和所述第二节点集合中节点的初始异常概率进行运算,以修正所述第一节点集合中节点的初始异常概率和所述第二节点集合中节点的初始异常概率;基于所述第一节点集合中节点修正后的初始异常概率,以及所述第二节点集合中节点修正后的初始异常概率,可以识别所述数据关联网络中的异常关联数据。与现有技术相比,图1所对应的实施方式,可以不依赖于统计的特征值对异常数据进行识别,而是利用数据关联网络中节点间的有向关联关系,识别所述数据关联网络中的异常关联数据。因此,图1所对应的实施方式可以提高异常数据识别的准确性。
本申请实施例的异常数据识别方法,可以应用于交易质量评价场景中。下面以交易质量评价为例,介绍本申请实施例异常数据识别方法的一个应用场景。需要指出的是,本申请结合具体的交易质量评价场景对本申请的构思进行描述,但本申请并不限于此,而是可以适用于现有或未来开发的其它任意适合的异常数据识别场景中。
随着互联网的普及,电子商务已经成为一种被广泛利用的商业贸易方式。买卖双方主要是通过电商的网页或者是软件进行交易活动。由于电子商务没有传统的实体店面,对销售人员的数量要求也不高,所以相比传统交易模式更能够控制运营成本,因而有着更大的价格优势。但是,有很多不法商家为了经济上的利益,通过作弊的方式提高自己商品的交易量,欺骗消费者,从而影响了电商系统的正常运行。
本申请实施例的异常数据识别方法,当应用于交易质量评价场景时,可以对作弊交易进行识别。具体地,可以将通过购物网站进行数据交互的主体第一主体类型和第二主体类型,其中,所述第一主体类型可以为买家,所述第二主体类型可以为商品。可以将预设时间段内进行交易的每个买家作为一个节点,将所述预设时间段内进行交易的每个商品作为一个节点,建立数据关联网络。在该数据关联网络中,节点间的有向关联关系,可以由买家和商品间的交易关系得到;节点间的关联数据,可以由买家和商品间的交易数据得到。基于图1所对应的实施例,可以从该数据关联网络中获取异常交易数据,并将异常交易数据所对应的商品作为作弊商品,将异常交易数据所对应的买家作为作弊买家。
基于图1所对应的实施方式,下面介绍本申请搜索方法的一个实施方式。如图5所示,该实施方式可以包括:
S501:接收用户的查询请求。
在本实施方式中,所述查询请求中可以包含关键词和图像。
例如,可以接收用户的包含关键词的查询请求。
S502:根据匹配所述查询请求的搜索结果对应的关联数据的异常概率,对匹配所述查询请求的搜索结果进行排序。
在本实施方式中,可以获取匹配所述查询请求的搜索结果;根据搜索结果对应的关联数据的异常概率,对所述搜索结果进行排序。其中,所述关联数据的异常概率,可以由图1对应的实施方式计算得到。
所述搜索结果的数量可以为一个或多个。每个搜索结果可以为第一类型主体或第二类型主体。例如,第二类型主体为商品,查询请求为查询商品。那么,匹配所述查询请求的搜索结果可以为一个或多个第二类型主体。
每个搜索结果可以对应一个节点,每个节点的关联数据的数量可以为一个或多个。那么,每个搜索结果对应的关联数据的数量可以为一个或多个。在数据关联网络中,可以将每个搜索结果对应的节点的各关联数据,作为该搜索结果对应的各关联数据。例如,一搜索结果在图2所示的数据关联网络中对应的节点为B1,那么,可以将节点B1的关联数据作为该搜索结果对应的关联数据,即,可以将关联数据NUM_X1_Y1和NUM_X2_Y1作为该搜索结果对应的关联数据。
所述根据搜索结果对应的关联数据的异常概率,对所述搜索结果进行排序,可以包括:将每个搜索结果对应的各关联数据异常概率的平均值,作为该搜索结果的异常概率平均值;基于搜索结果的异常概率平均值,对所述搜索结果进行排序。例如,一搜索结果对应的关联数据为NUM_X1_Y1和NUM_X2_Y1。那么,可以将关联数据NUM_X1_Y1异常概率和关联数据NUM_X2_Y1异常概率的平均值,作为该搜索结果的异常概率平均值。
或者,所述根据搜索结果对应的关联数据的异常概率,对所述搜索结果进行排序,还可以包括:依据搜索结果对应的各关联数据中是否包含异常关联数据,对所述搜索结果进行排序。其中,所述异常关联数据,一般为异常概率大于第一预设阈值的关联数据。例如,可以将对应各关联数据中包含异常关联数据的搜索结果,放在靠后的位置;将对应各关联数据中不包含异常关联数据的搜索结果,放在靠前的位置。
S503:将排序的搜索结果返回给用户。
图5所对应的实施方式,可以在基于图1所对应的实施方式,计算得到关联数据的异常概率后,根据关联数据的异常概率,对匹配查询请求的搜索结果进行排序,并可以将排序后的搜索结果返回给用户。
本申请实施例的搜索方法,可以应用于商品搜索场景中。下面以商品搜索为例,介绍本申请实施例搜索方法的一个应用场景。需要指出的是,本申请结合具体的商品搜索场景对本申请的构思进行描述,但本申请并不限于此,而是可以适用于现有或未来开发的其它任意适合的搜索场景中。
在接收到用户查询商品YY的请求后,可以获取商品Y6的搜索结果。商品Y6的搜索结果可以包括商品Y7、商品Y8、以及商品Y9。在一数据关联网络中,商品Y7对应的节点为B7;商品Y8对应的节点为B8;商品Y9对应的节点为B9。节点B7的关联数据为NUM_X1_Y7和NUM_X2_Y7;节点B8的关联数据为NUM_X1_Y8和NUM_X2_Y8;节点B9的关联数据为NUM_X1_Y9和NUM_X2_Y9。可以将关联数据NUM_X1_Y7的异常概率和关联数据NUM_X2_Y7的异常概率的平均值,作为商品Y7的异常概率平均值;将关联数据NUM_X1_Y8的异常概率和关联数据NUM_X2_Y8的异常概率的平均值,作为商品Y8的异常概率平均值;将关联数据NUM_X1_Y9的异常概率和关联数据NUM_X2_Y9的异常概率的平均值,作为商品Y9的异常概率平均值。其中,商品Y7的异常概率平均值、商品Y8的异常概率平均值、以及商品Y9的异常概率平均值依次减小。那么,可以按照商品Y7、商品Y8、以及商品Y9的顺序对商品YY的搜索结果进行排序。
本申请还提供一种异常数据识别装置,如图6所示,该装置可以包括:
第一建立模块601,用于以网络交互平台进行数据交互的第一类型主体和第二类型主体为节点,建立所述第一类型主体节点和所述第二类型主体节点间的数据关联网络,所述数据关联网络包括节点间的有向关联关系和关联数据;
设置模块602,用于分别设置所述第一类型主体节点和所述第二类型主体节点的初始异常概率;
第二建立模块603,用于以所述第一类型主体节点和所述第二类型主体节点建立第一节点集合和第二节点集合,其中,所述第一节点集合中节点对应的主体为第一类型主体,所述第二节点集合中节点对应的主体为第二类型主体;
运算模块604,用于基于随机游走概率图模型,使用所述第一节点集合的节点和所述第二节点集合的节点间的有向关联关系和关联数据,对所述第一节点集合和所述第二节点集合中节点的初始异常概率进行运算,以修正所述第一节点集合和所述第二节点集合中节点的初始异常概率;
计算模块605,用于基于所述第一节点集合和所述第二节点集合中节点修正后的初始异常概率,计算所述数据关联网络中关联数据的异常概率;
识别模块606,用于基于关联数据的异常概率,识别所述数据关联网络中的异常关联数据。
在一个实施方式中,所述运算模块604,可以包括:
第一计算单元,用于对于第一节点集合中的每个第一指定节点,依据节点间的有向关联关系,从第二节点集合中选择有向关联关系为指向该第一指定节点的节点来建立第三节点集合,基于所述第三节点集合中各节点与该第一指定节点间的关联数据、以及所述第三节点集合中各节点的初始异常概率,计算该第一指定节点的目标概率;
第二计算单元,用于对于第二节点集合中的每个第二指定节点,依据节点间的有向关联关系,从第一节点集合中选择有向关联关系为指向该第二指定节点的节点来建立第四节点集合,基于所述第四节点集合中各节点与该第二指定节点间的关联数据、以及所述第四节点集合中各节点的目标概率,计算该第二指定节点的目标概率;
更新单元,用于使用所述第一节点集合中每个节点的目标概率更新该节点的初始异常概率,使用所述第二节点集合中每个节点的目标概率更新该节点的初始异常概率。
在另一个实施方式中,所述运算模块604,还可以包括:
判断单元,用于基于更新单元的输出结果,判断所述第一节点集合中每个节点的属性和所述第二节点集合中每个节点的属性是否符合预设判断规则,其中,所述属性包括节点的初始异常概率和迭代次数;
迭代单元,用于若判断结果为否,对所述第一节点集合中节点的初始异常概率和所述第二节点集合中节点的初始异常概率进行迭代运算。
本申请还提供一种搜索装置,如图7所示,该装置可以包括:
接收模块701,用于接收用户的查询请求;
排序模块702,用于根据匹配所述查询请求的搜索结果对应的关联数据的异常概率,对匹配所述查询请求的搜索结果进行排序;
其中,所述关联数据的异常概率的值的确定包括:
以网络交互平台进行数据交互的第一类型主体和第二类型主体为节点,建立所述第一类型主体节点和所述第二类型主体节点间的数据关联网络,所述数据关联网络包括节点间的有向关联关系和关联数据;
分别设置所述第一类型主体节点和所述第二类型主体节点的初始异常概率;
以所述第一类型主体节点和所述第二类型主体节点建立第一节点集合和第二节点集合,其中,所述第一节点集合中节点对应的主体为第一类型主体,所述第二节点集合中节点对应的主体为第二类型主体;
基于随机游走概率图模型,使用所述第一节点集合的节点和所述第二节点集合的节点间的有向关联关系和关联数据,对所述第一节点集合和所述第二节点集合中节点的初始异常概率进行运算,以修正所述第一节点集合和所述第二节点集合中节点的初始异常概率;
基于所述第一节点集合和所述第二节点集合中节点修正后的初始异常概率,计算所述数据关联网络中关联数据的异常概率;
返回模块703,用于将排序的搜索结果返回给用户。
本申请还提供一种异常数据识别系统。所述系统可以包括:处理器、存储器及存储于所述存储器中的应用程序。其中,所述应用程序可以包括由所述处理器执行的至少如下指令:
以网络交互平台进行数据交互的第一类型主体和第二类型主体为节点,建立所述第一类型主体节点和所述第二类型主体节点间的数据关联网络,所述数据关联网络包括节点间的有向关联关系和关联数据;
分别设置所述第一类型主体节点和所述第二类型主体节点的初始异常概率;
以所述第一类型主体节点和所述第二类型主体节点建立第一节点集合和第二节点集合,其中,所述第一节点集合中节点对应的主体为第一类型主体,所述第二节点集合中节点对应的主体为第二类型主体;
基于随机游走概率图模型,使用所述第一节点集合的节点和所述第二节点集合的节点间的有向关联关系和关联数据,对所述第一节点集合和所述第二节点集合中节点的初始异常概率进行运算,以修正所述第一节点集合和所述第二节点集合中节点的初始异常概率;
基于所述第一节点集合和所述第二节点集合中节点修正后的初始异常概率,计算所述数据关联网络中关联数据的异常概率;
基于关联数据的异常概率,识别所述数据关联网络中的异常关联数据。
上述的异常数据识别装置及系统与本申请的方法实施例相对应,可以实现本申请的异常数据识别方法实施例,并取得方法实施例的技术效果。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片2。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(CornellUniversity Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog2。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。
本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施方式阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施方式或者实施方式的某些部分所述的方法。
本说明书中的各个实施方式均采用递进的方式描述,各个实施方式之间相同相似的部分互相参见即可,每个实施方式重点说明的都是与其他实施方式的不同之处。尤其,对于系统实施方式而言,由于其基本相似于方法实施方式,所以描述的比较简单,相关之处参见方法实施方式的部分说明即可。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
虽然通过实施方式描绘了本申请,本领域普通技术人员知道,本申请有许多变形和变化而不脱离本申请的精神,希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。
Claims (17)
1.一种异常数据识别方法,其特征在于,包括:
以网络交互平台进行数据交互的第一类型主体和第二类型主体为节点,建立所述第一类型主体节点和所述第二类型主体节点间的数据关联网络,所述数据关联网络包括节点间的有向关联关系和关联数据;
分别设置所述第一类型主体节点和所述第二类型主体节点的初始异常概率;
以所述第一类型主体节点和所述第二类型主体节点建立第一节点集合和第二节点集合,其中,所述第一节点集合中节点对应的主体为第一类型主体,所述第二节点集合中节点对应的主体为第二类型主体;
对于第一节点集合中的每个第一指定节点,依据节点间的有向关联关系,从第二节点集合中选择有向关联关系为指向该第一指定节点的节点来建立第三节点集合;
基于所述第三节点集合中各节点与该第一指定节点间的关联数据、以及所述第三节点集合中各节点的初始异常概率,计算该第一指定节点的目标概率;
对于第二节点集合中的每个第二指定节点,依据节点间的有向关联关系,从第一节点集合中选择有向关联关系为指向该第二指定节点的节点来建立第四节点集合;
基于所述第四节点集合中各节点与该第二指定节点间的关联数据、以及所述第四节点集合中各节点的目标概率,计算该第二指定节点的目标概率;
使用所述第一节点集合中每个节点的目标概率更新该节点的初始异常概率,使用所述第二节点集合中每个节点的目标概率更新该节点的初始异常概率;
基于所述第一节点集合和所述第二节点集合中节点修正后的初始异常概率,计算所述数据关联网络中关联数据的异常概率;
基于关联数据的异常概率,识别所述数据关联网络中的异常关联数据。
2.如权利要求1所述的方法,其特征在于,所述基于所述第三节点集合中各节点与该第一指定节点间的关联数据、以及所述第三节点集合中各节点的初始异常概率,计算该第一指定节点的目标概率,包括:
基于所述第三节点集合中各节点与该第一指定节点间的关联数据,计算所述第三节点集合中各节点与该第一指定节点的关联权重;
基于所述第三节点集合中各节点与该第一指定节点的关联权重、以及所述第三节点集合中各节点的初始异常概率,计算该第一指定节点的目标概率。
3.如权利要求2所述的方法,其特征在于,所述基于所述第三节点集合中各节点与该第一指定节点的关联权重、以及所述第三节点集合中各节点的初始异常概率,计算该第一指定节点的目标概率,包括:
基于第三节点集合中各节点与该第一指定节点的关联权重、所述第三节点集合中各节点的初始异常概率、该第一指定节点的初始异常概率、以及第一预设收敛系数,计算该第一指定节点的目标概率。
4.如权利要求3所述的方法,其特征在于,所述第一预设收敛系数为0至1之间的实数。
5.如权利要求1所述的方法,其特征在于,所述基于所述第四节点集合中各节点与该第二指定节点间的关联数据、以及所述第四节点集合中各节点的目标概率,计算该第二指定节点的目标概率,包括:
基于所述第四节点集合中各节点与该第二指定节点间的关联数据,计算所述第四节点集合中各节点与该第二指定节点的关联权重;
基于所述第四节点集合中各节点与该第二指定节点的关联权重,以及所述第四节点集合中各节点的异常概率、该第二指定节点的初始异常概率、以及第二预设收敛系数,计算该第二指定节点的目标概率。
6.如权利要求5所述的方法,其特征在于,所述第二预设收敛系数为0至1之间的实数。
7.如权利要求1所述的方法,其特征在于,所述基于所述第一节点集合和所述第二节点集合中节点修正后的初始异常概率,计算所述数据关联网络中关联数据的异常概率,包括:
将具有有向关联关系的两个节点修正后的初始异常概率的乘积,作为该两个节点间关联数据的异常概率。
8.如权利要求1所述的方法,其特征在于,所述基于关联数据的异常概率,识别所述数据关联网络中的异常关联数据,包括:
判断所述关联网络中异常概率大于第一预设阈值的关联数据为异常关联数据。
9.如权利要求1所述的方法,在使用所述第一节点集合中每个节点的目标概率更新该节点的初始异常概率,使用所述第二节点集合中每个节点的目标概率更新该节点的初始异常概率之后,所述方法还包括:
判断所述第一节点集合中每个节点的属性和所述第二节点集合中每个节点的属性是否符合预设判断规则,其中,所述属性包括节点的初始异常概率和迭代次数;
若判断结果为否,对所述第一节点集合中节点的初始异常概率和所述第二节点集合中节点的初始异常概率进行迭代运算。
10.如权利要求9所述的方法,其特征在于,所述对所述第一节点集合中节点的初始异常概率和所述第二节点集合中节点的初始异常概率进行迭代运算,包括:
将所述第一节点集合中每个节点的初始异常概率作为该节点的当前概率,将所述第二节点集合中每个节点的初始异常概率作为该节点的当前概率;
对于第一节点集合中的每个第一指定节点,依据节点间的有向关联关系,从第二节点集合中选择有向关联关系为指向该第一指定节点的节点来建立第三节点集合;基于所述第三节点集合中各节点与该第一指定节点间的关联数据、以及所述第三节点集合中各节点的当前概率,计算该第一指定节点的目标概率;
对于第二节点集合中的每个第二指定节点,依据节点间的有向关联关系,从第一节点集合中选择有向关联关系为指向该第二指定节点的节点来建立第四节点集合;基于所述第四节点集合中各节点与该第二指定节点间的关联数据、以及所述第四节点集合中各节点的当前概率,计算该第二指定节点的目标概率;
使用所述第一节点集合中每个节点的目标概率更新该节点的初始异常概率,使用所述第二节点集合中每个节点的目标概率更新该节点的初始异常概率。
11.一种搜索方法,其特征在于,包括:
接收用户的查询请求;
根据匹配所述查询请求的搜索结果对应的关联数据的异常概率,对匹配所述查询请求的搜索结果进行排序;
将排序的搜索结果返回给用户;
其中,所述关联数据的异常概率的值采用下述方法来确定:
以网络交互平台进行数据交互的第一类型主体和第二类型主体为节点,建立所述第一类型主体节点和所述第二类型主体节点间的数据关联网络,所述数据关联网络包括节点间的有向关联关系和关联数据;
分别设置所述第一类型主体节点和所述第二类型主体节点的初始异常概率;
以所述第一类型主体节点和所述第二类型主体节点建立第一节点集合和第二节点集合,其中,所述第一节点集合中节点对应的主体为第一类型主体,所述第二节点集合中节点对应的主体为第二类型主体;
对于第一节点集合中的每个第一指定节点,依据节点间的有向关联关系,从第二节点集合中选择有向关联关系为指向该第一指定节点的节点来建立第三节点集合;
基于所述第三节点集合中各节点与该第一指定节点间的关联数据、以及所述第三节点集合中各节点的初始异常概率,计算该第一指定节点的目标概率;
对于第二节点集合中的每个第二指定节点,依据节点间的有向关联关系,从第一节点集合中选择有向关联关系为指向该第二指定节点的节点来建立第四节点集合;
基于所述第四节点集合中各节点与该第二指定节点间的关联数据、以及所述第四节点集合中各节点的目标概率,计算该第二指定节点的目标概率;
使用所述第一节点集合中每个节点的目标概率更新该节点的初始异常概率,使用所述第二节点集合中每个节点的目标概率更新该节点的初始异常概率;
基于所述第一节点集合和所述第二节点集合中节点修正后的初始异常概率,计算所述数据关联网络中关联数据的异常概率。
12.如权利要求11所述的方法,其特征在于,所述根据匹配所述查询请求的搜索结果对应的关联数据的异常概率,对匹配所述查询请求的搜索结果进行排序,包括:
获取匹配所述查询请求的搜索结果;
将每个搜索结果对应的各关联数据异常概率的平均值,作为该搜索结果的异常概率平均值;
基于搜索结果的异常概率平均值,对所述搜索结果进行排序。
13.如权利要求11所述的方法,其特征在于,所述根据匹配所述查询请求的搜索结果对应的关联数据的异常概率,对匹配所述查询请求的搜索结果进行排序,包括:
获取匹配所述查询请求的搜索结果;
依据搜索结果对应的各关联数据中是否包含异常关联数据,对所述搜索结果进行排序。
14.一种异常数据识别装置,其特征在于,包括:
第一建立模块,用于以网络交互平台进行数据交互的第一类型主体和第二类型主体为节点,建立所述第一类型主体节点和所述第二类型主体节点间的数据关联网络,所述数据关联网络包括节点间的有向关联关系和关联数据;
设置模块,用于分别设置所述第一类型主体节点和所述第二类型主体节点的初始异常概率;
第二建立模块,用于以所述第一类型主体节点和所述第二类型主体节点建立第一节点集合和第二节点集合,其中,所述第一节点集合中节点对应的主体为第一类型主体,所述第二节点集合中节点对应的主体为第二类型主体;
第一计算单元,用于对于第一节点集合中的每个第一指定节点,依据节点间的有向关联关系,从第二节点集合中选择有向关联关系为指向该第一指定节点的节点来建立第三节点集合,基于所述第三节点集合中各节点与该第一指定节点间的关联数据、以及所述第三节点集合中各节点的初始异常概率,计算该第一指定节点的目标概率;
第二计算单元,用于对于第二节点集合中的每个第二指定节点,依据节点间的有向关联关系,从第一节点集合中选择有向关联关系为指向该第二指定节点的节点来建立第四节点集合,基于所述第四节点集合中各节点与该第二指定节点间的关联数据、以及所述第四节点集合中各节点的目标概率,计算该第二指定节点的目标概率;
更新单元,用于使用所述第一节点集合中每个节点的目标概率更新该节点的初始异常概率,使用所述第二节点集合中每个节点的目标概率更新该节点的初始异常概率;
计算模块,用于基于所述第一节点集合和所述第二节点集合中节点修正后的初始异常概率,计算所述数据关联网络中关联数据的异常概率;
识别模块,用于基于关联数据的异常概率,识别所述数据关联网络中的异常关联数据。
15.如权利要求14所述的装置,其特征在于,还包括:
判断单元,用于基于更新单元的输出结果,判断所述第一节点集合中每个节点的属性和所述第二节点集合中每个节点的属性是否符合预设判断规则,其中,所述属性包括节点的初始异常概率和迭代次数;
迭代单元,用于若判断结果为否,对所述第一节点集合中节点的初始异常概率和所述第二节点集合中节点的初始异常概率进行迭代运算。
16.一种搜索装置,其特征在于,包括:
接收模块,用于接收用户的查询请求;
排序模块,用于根据匹配所述查询请求的搜索结果对应的关联数据的异常概率,对匹配所述查询请求的搜索结果进行排序;
其中,所述关联数据的异常概率的值的确定包括:
以网络交互平台进行数据交互的第一类型主体和第二类型主体为节点,建立所述第一类型主体节点和所述第二类型主体节点间的数据关联网络,所述数据关联网络包括节点间的有向关联关系和关联数据;
分别设置所述第一类型主体节点和所述第二类型主体节点的初始异常概率;
以所述第一类型主体节点和所述第二类型主体节点建立第一节点集合和第二节点集合,其中,所述第一节点集合中节点对应的主体为第一类型主体,所述第二节点集合中节点对应的主体为第二类型主体;
对于第一节点集合中的每个第一指定节点,依据节点间的有向关联关系,从第二节点集合中选择有向关联关系为指向该第一指定节点的节点来建立第三节点集合;
基于所述第三节点集合中各节点与该第一指定节点间的关联数据、以及所述第三节点集合中各节点的初始异常概率,计算该第一指定节点的目标概率;
对于第二节点集合中的每个第二指定节点,依据节点间的有向关联关系,从第一节点集合中选择有向关联关系为指向该第二指定节点的节点来建立第四节点集合;
基于所述第四节点集合中各节点与该第二指定节点间的关联数据、以及所述第四节点集合中各节点的目标概率,计算该第二指定节点的目标概率;
使用所述第一节点集合中每个节点的目标概率更新该节点的初始异常概率,使用所述第二节点集合中每个节点的目标概率更新该节点的初始异常概率;
基于所述第一节点集合和所述第二节点集合中节点修正后的初始异常概率,计算所述数据关联网络中关联数据的异常概率;
返回模块,用于将排序的搜索结果返回给用户。
17.一种异常数据识别系统,包括:处理器、存储器及存储于所述存储器中的应用程序,其特征在于,所述应用程序包括由所述处理器执行的至少如下指令:
以网络交互平台进行数据交互的第一类型主体和第二类型主体为节点,建立所述第一类型主体节点和所述第二类型主体节点间的数据关联网络,所述数据关联网络包括节点间的有向关联关系和关联数据;
分别设置所述第一类型主体节点和所述第二类型主体节点的初始异常概率;
以所述第一类型主体节点和所述第二类型主体节点建立第一节点集合和第二节点集合,其中,所述第一节点集合中节点对应的主体为第一类型主体,所述第二节点集合中节点对应的主体为第二类型主体;
对于第一节点集合中的每个第一指定节点,依据节点间的有向关联关系,从第二节点集合中选择有向关联关系为指向该第一指定节点的节点来建立第三节点集合;
基于所述第三节点集合中各节点与该第一指定节点间的关联数据、以及所述第三节点集合中各节点的初始异常概率,计算该第一指定节点的目标概率;
对于第二节点集合中的每个第二指定节点,依据节点间的有向关联关系,从第一节点集合中选择有向关联关系为指向该第二指定节点的节点来建立第四节点集合;
基于所述第四节点集合中各节点与该第二指定节点间的关联数据、以及所述第四节点集合中各节点的目标概率,计算该第二指定节点的目标概率;
使用所述第一节点集合中每个节点的目标概率更新该节点的初始异常概率,使用所述第二节点集合中每个节点的目标概率更新该节点的初始异常概率;
基于所述第一节点集合和所述第二节点集合中节点修正后的初始异常概率,计算所述数据关联网络中关联数据的异常概率;
基于关联数据的异常概率,识别所述数据关联网络中的异常关联数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610380659.3A CN107451157B (zh) | 2016-06-01 | 2016-06-01 | 异常数据识别方法、装置及系统、搜索方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610380659.3A CN107451157B (zh) | 2016-06-01 | 2016-06-01 | 异常数据识别方法、装置及系统、搜索方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107451157A CN107451157A (zh) | 2017-12-08 |
CN107451157B true CN107451157B (zh) | 2020-12-18 |
Family
ID=60485917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610380659.3A Active CN107451157B (zh) | 2016-06-01 | 2016-06-01 | 异常数据识别方法、装置及系统、搜索方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107451157B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109587008B (zh) * | 2018-12-28 | 2020-11-06 | 华为技术服务有限公司 | 检测异常流量数据的方法、装置及存储介质 |
CN110490730B (zh) * | 2019-08-21 | 2022-07-26 | 北京顶象技术有限公司 | 异常资金聚集行为检测方法、装置、设备及存储介质 |
CN110909129B (zh) * | 2019-11-14 | 2022-11-04 | 上海秒针网络科技有限公司 | 异常投诉事件的识别方法及装置 |
CN117034179B (zh) * | 2023-10-10 | 2024-02-02 | 国网山东省电力公司营销服务中心(计量中心) | 基于图神经网络的异常电量识别及溯源方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005101265A2 (en) * | 2004-04-06 | 2005-10-27 | Pricewaterhousecoopers, Llp | Systems and methods for investigation of financial reporting information |
CN104317681A (zh) * | 2014-09-02 | 2015-01-28 | 上海交通大学 | 针对计算机系统的行为异常自动检测方法及检测系统 |
WO2015018314A1 (en) * | 2013-08-05 | 2015-02-12 | Tencent Technology (Shenzhen) Company Limited | Method, device and system for detecting whether account is stolen |
CN105243149A (zh) * | 2015-10-26 | 2016-01-13 | 深圳市智搜信息技术有限公司 | 一种基于语义的查询推荐方法和系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9141914B2 (en) * | 2011-10-31 | 2015-09-22 | Hewlett-Packard Development Company, L.P. | System and method for ranking anomalies |
US9286396B2 (en) * | 2013-07-26 | 2016-03-15 | Microsoft Technology Licensing, Llc | Query expansion and query-document matching using path-constrained random walks |
-
2016
- 2016-06-01 CN CN201610380659.3A patent/CN107451157B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005101265A2 (en) * | 2004-04-06 | 2005-10-27 | Pricewaterhousecoopers, Llp | Systems and methods for investigation of financial reporting information |
WO2015018314A1 (en) * | 2013-08-05 | 2015-02-12 | Tencent Technology (Shenzhen) Company Limited | Method, device and system for detecting whether account is stolen |
CN104317681A (zh) * | 2014-09-02 | 2015-01-28 | 上海交通大学 | 针对计算机系统的行为异常自动检测方法及检测系统 |
CN105243149A (zh) * | 2015-10-26 | 2016-01-13 | 深圳市智搜信息技术有限公司 | 一种基于语义的查询推荐方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107451157A (zh) | 2017-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109559208B (zh) | 一种信息推荐方法、服务器及计算机可读介质 | |
US20240046306A1 (en) | Methods and apparatus for detection of spam publication | |
JP6134444B2 (ja) | 情報を推薦するための方法およびシステム | |
AU2016225947B2 (en) | System and method for multimedia document summarization | |
US20180342004A1 (en) | Cumulative success-based recommendations for repeat users | |
US9934293B2 (en) | Generating search results | |
US20220270121A1 (en) | Probabilistic search biasing and recommendations | |
US11074634B2 (en) | Probabilistic item matching and searching | |
CN107451157B (zh) | 异常数据识别方法、装置及系统、搜索方法及装置 | |
US8676566B2 (en) | Method of extracting experience sentence and classifying verb in blog | |
CN110322300B (zh) | 数据处理方法及装置、电子设备、存储介质 | |
US9846885B1 (en) | Method and system for comparing commercial entities based on purchase patterns | |
CN107766349B (zh) | 一种生成文本的方法、装置、设备及客户端 | |
CN103198118B (zh) | 一种商品网页回溯方法及系统 | |
CN107590690B (zh) | 数据处理方法、装置及服务器 | |
WO2020258481A1 (zh) | 个性化文本智能推荐方法、装置及计算机可读存储介质 | |
US20200380524A1 (en) | Transaction feature generation | |
TWI703461B (zh) | 業務發生量的預測方法、裝置及設備 | |
CN110135769B (zh) | 货品属性填充方法及装置、存储介质及电子终端 | |
CN110033097A (zh) | 基于多个数据域确定用户与物品的关联关系的方法及装置 | |
CN112328881B (zh) | 文章推荐方法、装置、终端设备及存储介质 | |
Agrawal et al. | Aggregating web offers to determine product prices | |
US20170046726A1 (en) | Information processing device, information processing method, and program | |
WO2020072453A1 (en) | Probabilistic item matching and searching | |
CN113781180B (zh) | 一种物品推荐方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |