CN101996203A

CN101996203A - 一种过滤网页信息的方法和系统

Info

Publication number: CN101996203A
Application number: CN2009101652270A
Authority: CN
Inventors: 李晓军; 王聪智
Original assignee: Alibaba Group Holding Ltd
Current assignee: Alibaba Group Holding Ltd
Priority date: 2009-08-13
Filing date: 2009-08-13
Publication date: 2011-03-30
Also published as: JP5600168B2; US20120131438A1; EP2465041A1; JP2013502000A; WO2011019485A1; EP2465041A4

Abstract

本申请提供了过滤网页信息的方法和系统，所述方法包括：对用户终端上传的网页信息进行检测；当检测到所述网页信息中包括预设的高危特征词时，从预设的高危特征库中匹配获取与所述高危特征词对应的至少一个高危规则；根据所述至少一个高危规则在所述网页信息中的匹配结果，获取所述网页信息的特征分值；按照所述特征分值对所述网页信息进行过滤。与现有技术不同的是，在本申请实施例中，本申请实施例更能够准确的对网页信息进行过滤，实现实时的安全性和可靠性的网上交易。

Description

一种过滤网页信息的方法和系统

技术领域

本发明涉及互联网技术领域，特别涉及一种过滤电子商务网站的网页信息的方法和系统。

背景技术

电子商务通常是指是在全球各地广泛的商业贸易活动中，在因特网开放的网络环境下，基于浏览器/服务器应用方式，买卖双方不谋面地进行各种商贸活动，实现消费者的网上购物、商户之间的网上交易和在线电子支付以及各种商务活动、交易活动、金融活动和相关的综合服务活动的一种新型的商业运营模式。一个电子商务网站，存在着庞大的用户群及活跃的交易市场，具有海量信息的特征。随着电子商务在线交易的普及，网站对信息的安全性、真实性存在着强烈的需求，同时用户对交易信息的可靠性也很受关注，因此需要对电子商务交易中大量的交易信息，进行即时的安全性、可靠性、真实性处理。

现有技术中，需要使用一些特征甄别技术对信息的安全、真实性等进行过滤，例如，目前在一些的邮件系统、反垃圾系统中有使用概率论来过滤信息，其一般处理方案为预先设置一定的样本空间，然后使用该样本空间对信息进行过滤，该样本空间中包括预先指定的特征信息，即是一些存在潜在危险的特征词汇，并通过指定的计算公式，例如一般的邮件系统使用贝叶斯算法，来进行垃圾特征信息的计算和过滤。

但是在实际应用中，在邮件系统、反垃圾系统等中根据特征样本库来对信息进行贝叶斯分值计算，并根据分值确定信息是否属于垃圾，仅仅是考虑到特征样本库中的特征信息在信息中出现的概率，而对于电子商务网站的网页信息，存在着商品参数特征，例如：发布mp3时，商品参数是内存容量、屏幕色彩等；也存在市场交易的行业特征，例如：单价、起订量或供货总量等，因此，对于电子商务网页信息的过滤不能根据单一的概率分值来确定特征概率，否则会由于概率计算的遗漏，造成不安全的网页信息也直接进行了发布，从而在电子商务网站上产生大量不真实、不安全的商品信息，甚至扰乱整个网上交易市场。

总之，目前需要本领域技术人员迫切解决的一个技术问题就是：如何能够创新的提出一种过滤电子商务网站网页信息的方法，以解决现有技术中仅仅根据特征信息出现的概率进行过滤，导致的过滤结果不够准确的问题。

发明内容

本申请所要解决的技术问题是提供一种过滤网页信息的方法，用以解决现有技术中在需要导出大数据量的情况下，导致的过滤网页信息效率较低的问题。

本申请还提供了一种过滤电子商务信息的系统，用以保证上述方法在实际中的实现及应用。

为了解决上述问题，本申请公开了一种过滤网页信息的方法，包括：

对用户终端上传的网页信息进行检测；

当检测到所述网页信息中包括预设的高危特征词时，从预设的高危特征库中匹配获取与所述高危特征词对应的至少一个高危规则；

根据所述至少一个高危规则在所述网页信息中的匹配结果，获取所述网页信息的特征分值；

按照所述特征分值对所述网页进行过滤。

本申请提供的一种过滤网页信息的系统，包括：

检测单元，用于对用户终端上传的网页信息进行检测；

匹配获取规则单元，用于当检测到所述网页信息中包括预设的高危特征词时，从预设的高危特征库中匹配获取与所述高危特征词对应的至少一个高危规则；

获取特征分值单元，用于根据所述至少一个高危规则在所述网页信息中的匹配结果，获取所述网页信息的特征分值；

过滤单元，用于按照所述特征分值对所述网页信息进行过滤。

与现有技术相比，本申请包括以下优点：

在本申请实施例中，针对当前网页信息，在检测到预设的高危特征词出现时，同时根据预设的与高危特征词对应的高危规则来进行当前网页信息的特征分值的计算，并在过滤网页信息时根据其特征分值的大小来进行过滤，与现有技术中仅仅根据样本空间中的内容在当前信息中出现的概率来判断，本申请实施例更能准确的对网页信息进行过滤，保证了网上交易的实时性、安全性和可靠性。进一步的，还可以保证高效的处理性能。当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的一种过滤网页信息的方法实施例1的流程图；

图2是本申请的一种过滤网页信息的方法实施例2的流程图；

图3是本申请的一种过滤网页信息的方法实施例3的流程图；

图4a和图4b是本申请的方法实施例3中设置高危规则的界面示意图；

图5a、图5b、图5c和图5d是本申请的方法实施例3中一条网页信息的界面示意图；

图6是本申请的一种过滤网页信息的系统实施例1的结构框图；

图7是本申请的一种过滤网页信息的系统实施例2的结构框图；

图8是本申请的一种过滤网页信息的系统实施例3的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、包括以上任何系统或设备的分布式计算环境等等。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本申请的主要思想包括，针对当前网页信息，并不仅仅通过预设的高危特征词的出现概率来进行过滤，还进一步根据预设的与高危特征词对应的高危规则来进行当前网页信息的特征分值的计算，并在过滤网页信息时根据其特征分值的大小来进行过滤。本申请实施例所述的方法可以适用于能够进行电子商务交易的网站或系统，本申请实施例所述的系统可以采用硬件或软件实现，当采用硬件实现时，可以作为与电子商务交易的服务器相连的实体，当采用软件实现时，可以集成到电子商务交易的服务器上，作为新增的功能。与现有技术中仅仅根据样本空间中的内容在当前信息中出现的概率来判断，本申请实施例更能准确的对网页信息进行过滤，保证了网上交易的实时性、安全性和可靠性。

参考图1，示出了本申请一种过滤网页信息的方法实施例1的流程图，可以包括以下步骤：

步骤101：对用户终端上传的网页信息进行检测；

本实施例中，用户通过用户终端向电子商务网站的网站服务器发送电子商务信息，电子商务信息由用户在网站服务器提供的网页上填写，填写完成的网页信息被转换成数据信息并发送至网站服务器。网站服务器对接收到的网页信息首先进行检测，检测过程中，需要对该信息中所有的内容均进行扫描，目的是检测该网页信息的内容是否包括预设的高危特征词；其中，所述高危特征词是预先设置的一些词组或单词，一般包括一些常用的禁忌词、产品词汇，或者网络管理员指定的一些词汇等。

需要说明的是，对所述高危特征词还可以设置“开”或“关”功能，即是设置为开启状态的高危特征词会对当前电子商务信息起到过滤作用；同时，还可以设置高危特征词的特殊用法，例如，设置该高危特征词是否忽略大小写、空格、中间字符或任意字符，例如：“法轮-功”，“法轮g”等；如果设置了特殊用法，则该高危特征词的特殊用法对应的词，也会被当作过滤电子商务信息的一个条件。

步骤102：当检测到所述网页信息中包括预设的高危特征词时，从预设的高危特征库中匹配获取与所述高危特征词对应的至少一个高危规则；

所述高危特征库可以保存所述高危特征词、所述高危特征词对应的至少一个高危规则，以及高危特征词和至少一个高危规则之间的对应关系，即是所述高危特征词可以对应一个，或者多个高危规则；该高危特征库也可以预先设置，以后每次使用直接从所述高危特征库中获取相应的信息即可；当步骤101中检测到当前网页信息中包括了高危特征词时，再从所述高危特征库中获取与该高危特征词对应的至少一个高危规则；所述高危规则的组成内容可以理解为跟所述高危特征词相关联的一些限制或者附加的内容，当检测到用户终端发布的网页信息符合高危规则设定的限制或附加的内容时，则说明该网页信息可能为虚假信息或不宜发布。所述高危规则的组成内容可以包括：该网页信息的类型、发布人员，或者高危特征词出现的要素等等；所述高危规则和高危特征词相对应，两者的组合可以理解为对网页信息进行过滤的必要条件；例如，当高危特征词为“耐克”的时候，高危规则的内容可以包括对价格的限定，对型号的描述等。

在本申请实施例中，所述高危特征词并不仅仅指一些不适合直接发布的词汇，例如：“法轮功”，也可以是“耐克”等产品名称，因为后续还要根据该高危特征词匹配高危规则，例如，当网页信息中包括高危特征词“耐克”时，如果匹配到的高危规则中包括价格“＜150”的要素(远远低于市场价格的耐克鞋的信息会被认为可能是虚假信息)，则认为当前用户发布的电子商务信息可能为虚假信息，那么后续就会根据计算得到的特征分值过滤掉当前网页信息，从而避免进行电子商务交易的用户在看到该网页信息时上当受骗。

所述高危特征词可以根据网站信息库中的内容来进行预先设定，所述网站信息库可以保存很长一段时间内网站中的电子商务交易信息，根据历史电子商务交易信息可以提取出容易包括在虚假信息或不宜发布信息中的高危特征词。

步骤103：根据所述至少一个高危规则在所述网页信息中的匹配结果，获取所述网页信息的特征分值；

当根据高危特征词匹配到至少一个高危规则后，继续在所述网页信息中进行匹配，其中，在匹配过程中，按照逐个高危特征词的顺序，并且每个高危特征词都按照逐个高危规则的顺序进行匹配；每匹配完成一个高危特征词，则匹配其对应的至少一个高危规则(即判断该网页中是否有符合高危规则内容的信息)，当能够在所述网页信息中匹配完成所有的高危规则时，则认为该高危规则匹配成功，则获取预先设置的该高危规则对应的预置分值，并根据所有高危规则最终得出所有的所述预置分值，然后套用全概率公式进行计算，在实际中可以利用java语言提供的数值计算能力实现全概率公式的计算，并将最后的计算结果作为当前网页信息的特征分值；所述特征分值的范围为0到1之间的任意数值；

本申请实施例可以针对不同的高危规则预置不同的分值，例如，对于高危特征词“耐克”，可以预置价格＜50时，其预置分值为0.8；50＜价格＜150时，其预置分值为0.6；150＜价格＜300，其预置分值为0.3，这样可以更精确的获得特征分值。

下面对全概率做下简单介绍：为了求复杂事件的概率，往往可以把它分解成若干个互不相容的简单事件之并集，然后利用条件概率和乘法公式，求出这些简单事件的概率，最后利用概率可加性，得到最终结果，这一方法的一般化就是所谓的全概率公式；如下所示：

设A，B是两个事件，那么A可以表示为：

A = AB \cup A \overset{&OverBar;}{B}

显然，

如果

P (B), P (\overset{&OverBar;}{B}) > 0,

则

P (A) = P (AB) + P (A \overset{&OverBar;}{B})

= P (A | B) P (B) + P (A | \overset{&OverBar;}{B}) P (\overset{&OverBar;}{B})

例如，匹配到3个高危规则的时候，分别对应的预置分值为0.4、0.6和0.9，那么应用全概率公式进行计算时，则具体如下所示：

特征分值＝(0.4×0.6×0.9)/((0.4×0.6×0.9)+((1-0.4)×(1-0.6)×(1-0.9)))；

步骤104：按照所述特征分值对所述网页信息进行过滤。

根据所述特征分值的大小，可以按照是否大于某一个预设的阈值来进行过滤，例如，当特征分值大于0.6时，则认为当前网页信息存在不宜直接发布的危险信息，则可以将当前网页信息转至后台，或者也可以由系统自动的将当前网页信息进行屏蔽；当特征分值小于0.6时，则认为当前网页信息的内容是安全或者真实的，则直接将当前网页信息进行发布即可，这就相当于将包括不宜直接发布的危险或者虚假信息进行了过滤。

本申请实施例可以适用于任何能够进行电子商务交易的网站和系统；在本实施例中，由于对于当前网页信息中的高危特征词的出现，又从高危特征库中匹配了一次高危规则，并且当所述当前网页信息包括了某个高危规则时，才获取到高危规则的预置分值，并对所有预置分值利用全概率公式进行计算获得当前网页信息的特征分值，因此，相比较现有技术中仅仅利用样本空间在交易信息中出现的概率来进行过滤的方法来讲，本申请实施例更能够准确的对网页信息进行过滤，实现实时的安全性和可靠性的网上交易。

参考图2，示出了本申请一种过滤网页信息的方法实施例2的流程图，可以包括以下步骤：

步骤201：设置高危特征词及与所述高危特征词对应的至少一个高危规则；

在本实施例中，对于所述高危特征词可以采用专门的系统来维护，实际中的一条网页信息通常包含多部分，则后续就需要按照高危特征词对其中的每个部分都进行匹配；所述高危特征词可以涉及的方面很多，例如：当前网页信息的标题、关键字、类目、详细描述内容、交易参数和信息的专业化描述参数，等等；

其中，每一个高危特征词都可以通过调用一个函数来设置一个开关，该开关可以提供对该高危特征词打开或关闭的功能，具体实现时可以修改数据库表中的一个开关字段来完成；本申请实施例中的过滤电子商务信息的系统和维护所述高危特征词的系统是不同的，维护高危特征词的系统可以定期更新高危特征库，从而不会中断过滤系统的正常运行；在实际应用中如果需要设置高危特征词的特殊用法，还可以通过java语言提供的正则表达式来实现；

同时，对于预先设定的高危特征词，都预先配置相应的高危规则，在系统的信息维护入口，针对设置的高危特征词可对应设置至少一个高危规则；所述高危规则的内容可以包括：网页信息的类型，网页信息的发布人员，网页信息的高危特征词出现的要素，网页信息的高危特征属性词，网页信息指定营销的授权标识，网页信息明显的参数特征，网页信息的分值指定，等等；其中，后续提到的预置分值即是在本步骤中预先指定的分值，该分值可以为2、1，或者0～1的任意小数；

同样的，所述高危规则也可设置为是否开启；则开启的高危规则在进行过滤时，就可以认为是有效的，在从高危特征库中匹配高危规则时，设置为开启状态的高危规则可以被匹配到；

步骤202：将所述高危特征词、至少一个高危规则及对应关系保存至高危特征库中；

所述高危特征库可以采用永久性的数据结构来实现，以方便后续反复使用其中的高危特征词，或者高危规则，并能够保证后续对该高危特征库的更新和修改；

步骤203：对通过用户终端提交的网页信息按照所述高危特征词进行检测；

步骤204：当检测到所述网页信息中包括预设的高危特征词时，从预设的高危特征库中匹配获取与所述高危特征词对应的至少一个高危规则；

步骤205：将所述至少一个高危规则在所述网页信息中进行匹配；

当在当前网页信息中检测到了预设的高危特征词，同时又根据高危特征词和高危规则之间的对应关系，在所述高危特征库中匹配到了所述高危特征词的至少一个高危规则，则针对所述至少一个高危规则在当前网页信息中继续匹配，即是查看所述当前网页信息的内容是否全部包括每一个高危规则的内容；

具体在匹配时，可以将高危规则分解为多个高危子规则来表示，那么该步骤中则是在当前网页信息中匹配一个高危规则的若干个高危子规则；

步骤206：当某个高危规则的全部子规则都能够匹配时，获取该高危规则的预置分值；

所述高危规则可以由多个子规则组成，当某个高危规则的全部子规则都能够匹配时，即是该高危规则的全部子规则在网页信息中都能够匹配成功时，则从所述高危特征库中获取该高危规则的预置分值；此步骤即是确定对于匹配到的高危特征词，确定有效的高危规则，为下一步进行全概率计算做准备；

需要说明的是，在为高危规则预置分值时，可以直接设置该预置分值为某一固定分值时，则直接认定符合该高危规则的网页信息为不易发布的网页信息。例如，在获取到预置分值为2或者1时，即是已经预先将一个高危特征词的一个高危规则的预置分值设置为2或者1时，则可以直接认定为包括该高危特征词的当前网页信息是不安全或者不可靠的，此时可以直接转至步骤209处理；同时，在获取到高危规则的预置分值时，可以按照预置分值的大小进行倒叙排列，这样就方便从开头部分获取到预置分值最大的当前网页信息；

步骤207：将所述预置分值进行全概率计算，并将所述计算结果作为当前网页信息的特征分值。

假设当前网页信息中匹配到了1个高危特征词，并且该高危特征词匹配到了5个高危规则，那么在前述步骤中如果只有4个高危规则的全部内容被当前网页信息所包括，那么此步骤则仅仅对该4个高危规则的预置分值进行全概率计算，并将该4个高危规则的全概率计算结果作为当前网页信息的特征分值；

步骤208：判断所述特征分值是否大于一个预先设定的阈值，如果是，则进入步骤209，如果否，则进入步骤210；

判断该特征分值是否大于一个预先设定的阈值，例如0.6，其中，该阈值的大小设定可以根据实际应用中的精度需求而有所变化；

步骤209：过滤掉当前网页信息；

如果所述特征分值为0.8，则过滤掉当前网页信息，即是认为该信息中包括了不适合直接发布的高危特征词，那么过滤掉该信息之后，还可以将该网页信息呈现给网络管理员，由网络管理员针对该网页信息进行人工干预，以优化网络环境；

步骤210：将所述网页信息直接进行发布。

如果所述特征分值小于一个预先设定的阈值，例如0.6，则可以认为该信息的安全性符合当前的网络环境，则直接将所述网页信息进行发布。

在本实施例中，通过预先设置高危特征库的方式，所述高危特征库包括预先设定的高危特征词、高危特征词对应的高危规则及两者的对应关系；所述高危特征库通过专门的维护系统来维护，可以和本申请的过滤系统相互独立，以便于后续可以在高危特征库中进行增加或者更新所述高危特征词、高危规则及两者的对应关系，从而又不影响所述过滤系统的运行。

参考图3，示出了本申请一种过滤网页信息的方法实施例3的流程图，本实施例即是本申请在实际应用中的一个例子，该实施例可以包括以下步骤：

步骤301：设置高危特征词及与所述高危特征词对应的至少一个高危规则；

在实际应用中，需要将所有可能的禁忌词，产品词汇，或者根据当前网络的需求指定的词汇等等，都设置为所述高危特征词，但是在本申请实施例中，有高危特征词出现的网页信息并不一定就是虚假或者不安全的信息，还需要根据对应的高危规则进行判断和检测；在所述高危特征库中，所述高危规则和高危特征词之间的对应可以是，高危特征词和高危规则的名称之间的对应，高危规则的名称唯一对应一条高危规则；

当高危特征词为“耐克”时，则对应的一条规则可以为：NIKE|耐克^鞋^价格＜150，表示当前高危规则所述范围为“鞋”，其内容包括“价格＜150”，以及，如果当前网页信息均包括该规则的内容，则获取到对应的预置分值；当网页信息中包括了耐克鞋的价格信息小于150时，就认为当前网页信息为可能为虚假或者不可靠信息；高危规则可以按照正则表达式的方式来组合；

步骤302：在所述高危规则中设置对应网页信息的特征级别；

在本申请实施例中，还可以在高危规则的定义中，同时设置特征级别；即是在高危规则中设置出包括了该高危规则的网页信息的特征级别；特征级别可以为A、B、C、D等级别，可以设置A或B级别的网页信息可以直接进行发布，而处于C或D级别的网页信息则表示该网页信息是不安全或者虚假的，可以直接将当前网页信息转至后台，或者由系统进行相应的删除和修改操作；，即是针对该网页信息需要删除一些不安全信息才能发布；

在实际应用中，参考图4a和图4b所示，为进行高危规则设置的界面示意图；其中，图4a中的规则名称“天美意-2”即是当前高危规则的名称，与高危特征词对应；两幅图中第一步“添加规则范围”和第五步“后续处理”中是必须设置的高危规则的规则要素，第一步中添加规则范围，表示该高危规则对应的高危特征词是属于哪个领域或者行业等信息，即是表示在什么样的领域或行业范围内对网页信息进行高危规则匹配，该高危规则才是有效的，可匹配到的。例如：对于某一网页信息中出现的高危特征词“耐克”，首先需要检测该网页信息是关于服装类的商品信息还是体育用品类的商品信息，对于不同类别的商品信息，对应的商品价格有较大的差别，因此，第一步需要检测该网页信息是否属于高危规则中设定的类目范围，从而使得后续进行价格匹配可以得到更加准确的结果。第二步中的“添加规则内容”部分，是表示可以设置在该网页信息的哪些部分进行高危规则的匹配，比如，可以设置在网页信息的标题部分、网页信息的内容部分、网页信息的价格属性等部分进行高危规则的匹配。第三步和第四步中的内容，则属于可选设置，如果需要更详细的高危规则，则可以对第三步和第四步中的内容也进行设置；第五步中的“后续处理”部分的内容，则表示如果在当前网页信息中完全匹配到该高危规则，后续进行何种处理，或者如何进行过滤；其中，图4b中“分值保存”的输入框中的数值即是该高危规则的预置分值，范围为0～1，和2；“分流”的下拉框中的英文字符即标识该高危规则的特征级别，可以按照英文字母，例如A、B、C、D等设置高低级别；

其中，在设置特征级别时，可以根据第一步中设置的规则范围的内容进行调整，例如，根据发布者参数，发布信息地域和产品特性、发布地点的网络地址等设定特征级别；例如，数码产品为高危级别；某一特定地区的电子商务信息也属于高危级别，则当在第一步添加规则范围时，如果为数码产品，则第五步中“分流”的下拉框中则应该选择F；一般情况下，特征级别可以分为从A到F共六级，其中，A、B和C级别非高危级别，D、E和F为高危级别；当然，所述特征级别也可以根据实际情况进行调整或改动，也可以根据第一步至第四步中任意信息进行设置；

其中，所述高危规则的每一步可以看作该高危规则的一个子规则，则每一个高危规则都是由若干个子规则组成，其中，第一步和第五步对应的子规则为高危规则中必须的内容，而第二步、第三部和第四步对应的子规则为优选内容，当然，后续本领域技术人员还可以根据需求添加更多的子规则；

步骤303：将所述高危特征词、至少一个高危规则及对应关系保存至高危特征库中；

其中所述高危特征库可以采用数据结构的形式进行保存，以方便后续使用时反复调用和查询；

步骤304：将所述高危特征库直接保存至内存中；

在本实施例中，所述高危特征库可以直接保存至内存中；具体从所述高危特征库中加载高危特征词到内存中；把高危特征词编译成二进制数据，放入内存，这就方便了后续从网页信息中，过滤出存在的高危特征词；同时也需要把高危规则从高危特征库加载到内存；

需要说明的是，在实际应用中，还可以将所述高危特征词和高危规则的对应关系从高危特征库中提取出来存放到哈希表中，就更方便接下来根据高危特征词查找对应的高危规则，而无须以提高过滤过程中的性能；

步骤305：对用户终端提交的网页信息进行检测；

其中，在实际应用中的一条网页信息可以参考图5a、图5b、图5c和图5d所示，图5a、图5b、图5c和图5d为一条网页信息的界面示意图；其中，图5c为当前网页信息的交易参数，图5d为当前网页信息的专业化参数；

其中，该网页信息的标题为供应U盘MP3，关键词(keywords)为U盘MP3，类目为数码、电脑＞数码产品＞MP3，详细说明为：我们今天来介绍的就是来自韩国的品牌三星，这个在很多消费电子领域都有涉足的品牌在中国的知名度非常高！而三星MP3产品在国内市场也是销量可观！不少经典的型号大家都耳熟能详。如今，三星新一轮的新品已经全部上市，而且价格也是非常平易近人，相信会引来不少人的关注。

步骤306：当检测到所述网页信息中包括预设的高危特征词时，从内存中的高危特征库中匹配获取与所述高危特征词对应的至少一个高危规则；

步骤307：将所述至少一个高危规则在所述网页信息中进行匹配；

步骤308：当某个高危规则的全部子规则都能够匹配时，获取该高危规则的预置分值；

步骤309：将所述预置分值进行全概率计算，并将所述计算结果作为当前网页信息的特征分值；

假设本实施例中，计算得到的结果为0.5；

步骤310：判断所述特征分值是否大于一个预先设定的阈值，如果否，则进入步骤311，如果是，则进入步骤312；

需要说明的是，将阈值预先设定为0.6，能够使得本申请实施例取得更为准确的过滤结果，即是最优选的阈值为0.6；

步骤311：继续判断所述网页信息的特征级别是否满足预设条件，如果是，则进入步骤313，如果否，则进入步骤312；

在本实施例中，特征分值小于预先设定的阈值，则需要继续判断对应的特征级别是否满足预设条件，例如，预设条件为：级别为A、B、C的网页信息则表示安全或者可信的，级别为D、E、F的网页信息则表示不安全或者不可靠的，不能直接发布；则当前网页信息为B级时，则进入步骤313，当前网页信息为F级时，则进入步骤312；

需要说明的是，在本步骤中，如果当前网页信息中对应的高危规则有若干个，同时对应的也能获取到预先设定的多个不同的特征级别，则此时需要取最高的特征级别作为当前网页信息的特征级别；

步骤312：过滤所述当前网页信息；

将所述当前网页信息进行过滤，还可以由专业人员等对该网页信息进行处理，从而保证下一次发布之前该网页信息是安全或可信的；

步骤313：将所述网页信息直接进行发布。

本实施例步骤310-313是通过特征级别对采用特征分值来判断网页信息是否不宜发布的判断结果的一种修正，即，在采用特征分值的判断结果为该网页信息并非虚假信息的情况下，若其特征级别满足特定的特征级别时，或者该网页的特征级别满足特定的特征级别且特征分值又接近阈值时，仍然会被认为是虚假信息，不宜发布。当然在实施过程中，在采用特征分值的判断结果为该网页信息是虚假信息的情况下，也可以通过特征级别对该判断结果进行修正，即，若其特征级别满足特定的特征级别时，即使其特征分值大于预设阈值时，仍然认为该网页信息是安全或可信的，可以直接发布。

本实施例中，所述高危特征库可以直接保存在内存中，这样在从高危特征库中调用高危特征词、高危规则时，就可以保证高效的处理性能，同时也能比现有技术中对网页信息进行过滤时具有更精确的性能。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

与上述本申请一种过滤网页信息的方法实施例1所提供的方法相对应，参见图6，本申请还提供了一种过滤网页信息的系统实施例1，在本实施例中，该系统可以包括：

检测单元601，用于对用户终端发送的网页信息进行检测；

本实施例中，用户通过用户终端向电子商务网站的网站服务器发送电子商务信息，电子商务信息由用户在网站服务器提供的网页上填写，填写完成的网页信息被转换成数据信息并发送至网站服务器。网站服务器对接收到的网页信息进行检测，在检测单元601进行检测的过程中，需要对该信息中所有的内容均进行扫描，目的是检测该网页信息的内容是否包括预设的高危特征词；其中，所述高危特征词是预先设置的一些词组或单词，一般由一些常用的禁忌词、产品词汇，或者网络管理员指定的一些词汇等；

匹配获取规则单元602，用于当检测到所述网页信息中包括预设的高危特征词时，从预设的高危特征库中匹配获取与所述高危特征词对应的至少一个高危规则；

所述高危特征库可以保存所述高危特征词、所述高危特征词对应的至少一个高危规则，以及高危特征词和高危规则之间的对应关系；该高危特征库也可以预先设置，以后每次使用直接从所述高危特征库中获取相应的信息即可；所述高危规则的组成内容可以理解为跟所述高危特征词相关联的一些限制或者附加的内容，例如，可以包括：该网页信息的类型、发布人员，或者高危特征词出现的要素等等；所述高危规则和高危特征词相对应，两者的组合可以理解为对网页信息进行过滤的必要条件；

获取特征分值单元603，用于根据所述至少一个高危规则在所述网页信息中的匹配结果，获取所述网页信息的特征分值；

将根据高危特征词匹配到至少一个高危规则，继续在所述网页信息中进行匹配，其中，在匹配过程中，按照逐个高危特征词的顺序，并且每个高危特征词都按照逐个高危规则的顺序进行匹配；每匹配完成一个高危特征词，则匹配其对应的至少一个高危规则，当能够在所述网页信息中匹配完成所有的高危规则时，则认为该高危规则匹配成功，则获取该高危规则预先设置的对应的预置分值，并根据所有高危规则最终得出的所有所述预置分值，则根据全概率公式进行计算，则将最后的计算结果作为当前网页信息的特征分值；所述特征分值的范围为0到1之间的任意数值；

过滤单元604，用于按照所述特征分值对所述网页信息进行过滤。

根据所述特征分值的大小，可以按照是否大于某一个预设的阈值来进行过滤，例如，当特征分值大于0.6时，则认为当前网页信息存在不宜直接发布的危险信息，则可以将当前网页信息转至后台，由网络管理员进行人工干预，当特征分值小于0.6时，则认为当前网页信息的内容是安全或者真实的，则直接将当前网页信息进行发布即可，这就相当于将包括不宜直接发布的危险或者虚假信息进行了过滤。

本申请实施例的系统可以适用于任何能够进行电子商务交易的网站，也可以在电子商务的服务器端集成本申请实施例所述的系统，以对提交的电子商务信息起到过滤的作用；在本实施例中，由于对于当前网页信息中的高危特征词的出现，又从高危特征库中匹配了一次高危规则，并且当所述当前网页信息包括了某个高危规则时，才获取到高危规则的预置分值，并利用全概率来利用所有预置分值来计算当前网页信息的特征分值，因此，相比较现有技术中仅仅利用样本空间在交易信息中出现的概率来进行过滤的方法来讲，本申请实施例更能够准确的对网页信息进行过滤，实现实时的安全性和可靠性的网上交易。

与上述本申请一种过滤网页信息的方法实施例2所提供的方法相对应，参见图7，本申请还提供了一种过滤网页信息的系统的优选实施例2，在本实施例中，该系统具体可以包括：

第一设置单元701，设置高危特征词及与所述高危特征词对应的至少一个高危规则；

在本实施例中，对于所述高危特征词可以采用专门的系统来维护，实际中的一条电子商务信息通常包含多种部分，则后续就需要按照高危特征词对其中的每个部分都进行匹配；所述高危特征词可以涉及的方面很多，例如：当前电子商务信息的标题、关键字、类目、详细描述内容、交易参数和信息的专业化描述参数，等等；

保存单元702，用于将所述高危特征词、至少一个高危规则及对应关系保存至高危特征库中；

检测单元601，用于对用户终端上传的网页信息进行检测；

匹配子单元703，用于将所述至少一个高危规则在所述网页信息中进行匹配；

获取子单元704，用于当某个高危规则的全部子规则都能够匹配时，获取该高危规则的预置分值；

计算子单元705，用于将所有符合条件的预置分值进行全概率计算，并将所述计算结果作为当前网页信息的特征分值。

假设当前网页信息中匹配到了1个高危特征词，并且该高危特征词匹配到了5个高危规则，那么在前述步骤中如果只有4个高危规则的全部内容被当前网页信息所包括，那么此步骤则仅仅对该4个高危规则的预置分值进行全概率计算，并将该4个高危规则的全概率计算结果作为当前电子商务信息的特征分值；

第一判断子单元706，用于判断所述特征分值是否大于一个预先设定的阈值；

过滤子单元707，用于当所述第一判断子单元的结果为是时，过滤当前网页信息；

第一发布子单元708，用于当所述判断子单元的结果为否时，将所述网页信息直接进行发布。

与上述本申请一种过滤网页信息的方法实施例3所提供的方法相对应，参见图8，本申请还提供了一种过滤网页信息的系统的优选实施例3，在本实施例中，该系统具体可以包括：

第二设置单元801，用于在所述高危规则中设置当前网页信息的特征级别；

在本申请实施例中，还可以在高危规则的定义中，同时设置特征级别；即是在高危规则中设置出包括了该高危规则的网页信息的特征级别；特征级别可以为A、B、C、D等级别，可以设置A或B级别的网页信息可以直接进行发布，而处于C或D级别的网页信息则表示该网页信息是不安全或者虚假的，需要进行人工干预，即是针对该网页信息需要删除一些不安全信息才能发布；

保存单元702，用于将所述高危特征词、至少一个高危规则及对应关系保存至高危特征库中。

内存保存单元802，用于将所述高危特征库直接保存至内存中。

检测单元601，用于对用户终端上传的网页信息进行检测；

获取子单元704，用于当所述网页信息中包括高危规则的全部内容时，获取该高危规则的预置分值；

则所述过滤单元604具体用于：按照所述特征分值和特征级别对所述网页信息进行过滤。

在实际中，所述过滤单元604具体可以包括：

第二判断子单元803，用于当所述第一判断子单元的结果为否时，继续判断所述网页信息的特征级别是否满足预设条件；

第二发布子单元804，用于当所述第二判断子单元的结果为是时，将所述网页信息直接进行发布；

过滤子单元707，用于当所述第一判断子单元的结果为是时，或者所述第二判断子单元的结果为是时，过滤当前网页信息。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。并且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请所提供的一种过滤电子商务信息的方法和系统进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种过滤网页信息的方法，其特征在于，该方法包括：

对用户终端上传的网页信息进行检测；

按照所述特征分值对所述网页进行过滤。

2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个高危规则在所述网页信息中的匹配结果，获取所述网页信息的特征分值，具体包括：

将所述至少一个高危规则在所述网页信息中进行匹配；

当所述高危规则能够匹配时，获取该高危规则的预置分值；

将所述预置分值进行全概率计算，并将所述计算结果作为当前网页信息的特征分值。

3.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个高危规则在所述网页信息中的匹配结果，获取所述网页信息的特征分值，具体包括：

将所述至少一个高危规则在所述网页信息中进行匹配；

当某个高危规则的全部子规则都能够匹配时，获取该高危规则的预置分值；

4.根据权利要求1所述的方法，其特征在于，所述按照所述特征分值对所述网页信息进行过滤，具体包括：

判断所述特征分值是否大于一个预先设定的阈值；

如果是，则过滤当前网页信息，如果否，则将所述网页信息直接进行发布。

5.根据权利要求1所述的方法，其特征在于，所述对用户终端上传的网页信息进行检测之前，还包括：

设置高危特征词及与所述高危特征词对应的至少一个高危规则；

将所述高危特征词、至少一个高危规则及对应关系保存至高危特征库中。

6.根据权利要求5所述的方法，其特征在于，还包括：

将所述高危特征库直接保存至内存中。

7.根据权利要求5所述的方法，其特征在于，还包括：

在所述高危规则中设置当前网页信息的特征级别；

则所述按照所述特征分值对所述网页信息进行过滤，具体包括：

按照所述特征分值和特征级别对所述网页信息进行过滤。

8.根据权利要求7所述的方法，其特征在于，所述按照所述特征分值和特征级别对所述网页信息进行过滤，具体包括：

判断所述特征分值是否大于一个预先设定的阈值；

如果所述特征分值大于所述阈值，则过滤所述当前网页信息，如果所述特征分值小于所述阈值，则继续判断所述网页信息的特征级别是否满足预设条件；

如果满足，则将所述网页信息直接进行发布，如果不满足，则过滤所述当前网页信息。

9.根据权利要求7所述的方法，其特征在于，所述按照所述特征分值和特征级别对所述网页信息进行过滤，具体包括：

判断所述特征分值是否大于一个预先设定的阈值；

如果所述特征分值大于所述阈值，则继续判断所述网页信息的特征级别是否满足预设条件；

10.一种过滤网页信息的系统，其特征在于，该系统包括：

检测单元，用于对用户终端上传的网页信息进行检测；

11.根据权利要求10所述的系统，其特征在于，所述获取特征分值单元包括：

匹配子单元，用于将所述至少一个高危规则在所述网页信息中进行匹配；

获取子单元，用于当某个高危规则的全部子规则都能够匹配时，获取该高危规则的预置分值；；

计算子单元，用于将所有符合条件的预置分值进行全概率计算，并将所述计算结果作为当前网页信息的特征分值。

12.根据权利要求10所述的系统，其特征在于，所述过滤单元具体包括：

第一判断子单元，用于判断所述特征分值是否大于一个预先设定的阈值；

过滤子单元，用于当所述第一判断子单元的结果为是时，过滤当前网页信息；

第一发布子单元，用于当所述判断子单元的结果为否时，将所述网页信息直接进行发布。

13.根据权利要求10所述的系统，其特征在于，还包括：

第一设置单元，设置高危特征词及与所述高危特征词对应的至少一个高危规则；

保存单元，用于将所述高危特征词、至少一个高危规则及对应关系保存至高危特征库中。

14.根据权利要求13所述的系统，其特征在于，还包括：

内存保存单元，用于将所述高危特征库直接保存至内存中。

15.根据权利要求13所述的系统，其特征在于，还包括：

第二设置单元，用于在所述高危规则中设置当前网页信息的特征级别；

则所述过滤单元具体用于：按照所述特征分值和特征级别对所述网页信息进行过滤。

16.根据权利要求15所述的系统，其特征在于，所述过滤单元包括：

第二判断子单元，用于当所述第一判断子单元的结果为否时，继续判断所述网页信息的特征级别是否满足预设条件；

第二发布子单元，用于当所述第二判断子单元的结果为是时，将所述网页信息直接进行发布；

过滤子单元，用于当所述第一判断子单元的结果为是时，或者所述第二判断子单元的结果为是时，过滤当前网页信息。