CN104683496A - 地址过滤方法及装置 - Google Patents
地址过滤方法及装置 Download PDFInfo
- Publication number
- CN104683496A CN104683496A CN201510079200.5A CN201510079200A CN104683496A CN 104683496 A CN104683496 A CN 104683496A CN 201510079200 A CN201510079200 A CN 201510079200A CN 104683496 A CN104683496 A CN 104683496A
- Authority
- CN
- China
- Prior art keywords
- url address
- address
- list
- url
- cache list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
- H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/63—Routing a service request depending on the request content or context
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/58—Caching of addresses or names
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本公开是关于一种地址过滤方法及装置,属于互联网技术领域。所述方法包括:获取网页素材资源所对应的URL地址,该网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;在地址缓存列表中查找是否存储有该URL地址,地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址;当地址缓存列表中未存储有该URL地址时,根据预设匹配算法匹配URL地址是否为需要过滤的URL地址。本公开达到了只需要使用预设匹配算法对未存储在地址缓存列表中的URL地址进行匹配,从而提高了过滤的效率,节省计算资源的效果。
Description
技术领域
本公开涉及互联网技术领域,特别涉及一种地址过滤方法及装置。
背景技术
网页上显示的广告资源,不但影响用户的浏览体验,而且浪费用户的流量。
相关技术对广告资源进行过滤,首先通过预设匹配算法构建过滤匹配表,再根据过滤匹配表中的至少一个正则表达式对网页素材资源所对应的URL(Uniform Resource Locator,统一资源定位符)地址进行匹配,当匹配成功时,即确定该URL地址为需要过滤的广告地址并进行过滤。由于同一网页中的相同广告资源对应的URL地址通常相同,当接收到两个相同的URL地址时,需要使用预设匹配算法进行两次相同的匹配操作,不仅影响过滤的效率,而且会浪费计算资源。
发明内容
本公开实施例提供了一种地址过滤方法及装置,该技术方案如下:
根据本公开实施例的第一方面,提供一种地址过滤方法,该方法包括:
获取网页素材资源所对应的URL地址,网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;
在地址缓存列表中查找是否存储有URL地址,地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址;
当地址缓存列表中未存储有该URL地址时,根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址。
根据本公开实施例的第二方面,提供一种地址过滤装置,该装置包括:
第一获取模块,被配置为获取网页素材资源所对应的URL地址,网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;
查找模块,被配置为在地址缓存列表中查找是否存储有URL地址,地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址;
匹配模块,被配置为当地址缓存列表中未存储有URL地址时,根据预设匹配算法匹配URL地址是否为需要过滤的URL地址。
根据本公开实施例的第三方面,提供一种地址过滤装置,该装置包括:
处理器;
用于存储所述处理器的可执行指令的存储器;
其中,该处理器被配置为:
获取网页素材资源所对应的URL地址,网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;
在地址缓存列表中查找是否存储有该URL地址,地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址;
当地址缓存列表中未存储有该URL地址时,根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址。
本公开实施例提供的技术方案可以包括以下有益效果:
通过在地址缓存列表中查找是否存储有获取到的URL地址,当未查找到该URL地址时,再根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址;解决当接收到两个相同的URL地址时,需要使用预设匹配算法进行两次相同的匹配操作,不仅影响过滤的效率,而且会浪费计算资源的问题;达到了只需要使用预设匹配算法对未存储在地址缓存列表中的URL地址进行匹配,从而提高了过滤的效率,节省计算资源的效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是本公开各个实施例所涉及的实施环境的环境示意图;
图2A是根据一示例性实施例示出的地址过滤方法的方法流程图;
图2B是根据一示例性实施例示出的地址过滤方法的方法流程图;
图2C是根据一示例性实施例示出的地址过滤方法的方法流程图;
图2D是根据一示例性实施例示出的地址过滤方法的方法流程图;
图3A是根据另一示例性实施例示出的地址过滤方法的方法流程图;
图3B是根据另一示例性实施例示出的地址过滤方法所涉及的获取URL地址过程的方法流程图;
图4是根据再一示例性实施例示出的地址过滤方法的方法流程图;
图5是根据又一示例性实施例示出的地址过滤方法的方法流程图;
图6是根据一示例性实施例示出的地址过滤装置的结构方框图;
图7是根据另一示例性实施例示出的地址过滤装置的结构方框图;
图8是根据一示例性实施例示出的地址过滤装置的框图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是本公开各个实施例所涉及的实施环境的环境示意图,该实施环境包括电子设备110、网页资源服务器120和服务器130。
电子设备110可以由安装有网页浏览客户端的电子设备来实现。该电子设备可以是智能手机、平板电脑、电子书阅读器和膝上型便携计算机(相机、摄像机)等等。
电子设备110与网页资源服务器120之间通过有线或无线网络相连。
网页资源服务器120可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心。该网页资源服务器120用于根据电子设备120发送的网页访问请求返回相应的网页代码,并根据电子设备120发送的网页素材资源获取请求,返回相应的网页素材。
服务器130与电子设备120之间通过有线或无线网络相连。
服务器130可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心。该服务器130用于接收发送多个电子设备120发送的地址缓存列表。
为了简化描述,下文中仅以地址过滤方法由客户端执行来举例说明,但对此不构成限定。
图2A是根据一示例性实施例示出的地址过滤方法的方法流程图,本实施例以该地址过滤方法用于安装有网页浏览客户端的电子设备来进行说明,该地址过滤方法可以包括如下步骤。
在步骤201中,获取网页素材资源所对应的URL地址,网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;
在步骤202中,在地址缓存列表中查找是否存储有该URL地址,地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址;
该地址缓存列表包括第一缓存列表和第二缓存列表中的至少一个,其中,第一缓存列表用于存储预设匹配算法匹配出的需要过滤的URL地址,第二缓存列表用于存储预设匹配算法匹配出的不需要过滤的URL地址。
在步骤203中,当地址缓存列表中未存储有该URL地址时,根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址。
综上所述,本示例性实施例提供的地址过滤方法,通过在地址缓存列表中查找是否存储获取到的URL地址,当未查找到该URL地址时,再根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址;解决当接收到两个相同的URL地址时,需要使用预设匹配算法进行两次相同的匹配操作,不仅影响过滤的效率,而且会浪费计算资源的问题;达到了只需要使用预设匹配算法对未存储在地址缓存列表中的URL地址进行匹配,从而提高了过滤的效率,节省计算资源的效果。
作为一种可能的实施方式,客户端可以将地址缓存列表中的各个URL地址采用哈希表进行存储,从而提高在地址缓存列表中的查找URL地址的效率。如图2B所示,该地址过滤方法还可以包括如下步骤:
在步骤204中,将地址缓存列表中的各个URL地址采用哈希表存储。
作为另一种可能的实施方式,客户端可以按照地址缓存列表中各个URL地址被查找出的次数,对各个URL地址进行查找优先级排序,使得客户端访问经常访问的网页时,能够更快的在地址缓存列表中进行查找,提高过滤URL地址的效率。如图2C所示,该地址过滤方法还可以包括如下步骤:
在步骤205中,获取地址缓存列表中各个URL地址被查找出的次数;根据次数对地址缓存列表中各个URL地址进行查找优先级排序,查找优先级用于标识各个URL地址在查找时的查找先后顺序。
作为再一种可能的实施方式,客户端还可以通过将生成的地址缓存列表发送至服务器,由服务器根据不同客户端发送的地址缓存列表,生成针对不同客户端的更新信息,使得不同客户端能够根据该更新信息完善地址缓存列表中存储的URL地址,从而提高过滤的效率。如图2D所示,该地址过滤方法还可以包括如下步骤:
在步骤206中,向服务器发送地址缓存列表,服务器用于根据地址缓存列表分析客户端的访问习惯,并根据客户端的访问习惯和其它客户端发送的地址缓存列表生成更新信息;
在步骤207中,接收更新信息,并根据更新信息更新地址缓存列表。
当地址缓存列表包括第一缓存列表时,客户端优先查找该第一缓存列表中是否存储有获取到的网页素材资源对应的URL地址,当该第一缓存列表中未存储有该URL地址时,再通过预设匹配算法对该URL进行匹配;且为了提高过滤的效率,第一缓存列表中的各个URL地址采用哈希表存储。下面采用一个示例性实施例进行说明。
图3A是根据另一示例性实施例示出的地址过滤方法的方法流程图,本实施例以该地址过滤方法用于图1所示的电子设备110来进行说明,该地址过滤方法可以包括如下步骤。
在步骤301中,获取网页素材资源所对应的URL地址,网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种。
网页中包含大量的网页素材资源,这些网页素材资源可以是网页上的文字、视频、图片和音频等等。但是这些网页素材资源中包含了部分广告资源,在网页上显示这些广告资源会影响用户的浏览体验,所以客户端需要对网页素材资源中的广告资源进行过滤。
由于广告资源对应的URL地址具有一些特定的标识,所以客户端可以获取网页素材资源中的URL地址,并根据该URL地址判断该网页素材资源是否为广告资源。
作为一种可能的实现方式,如图3B所示,本步骤可以包括如下步骤:
在步骤301A中,向网页资源服务器发送网页访问请求,网页访问请求携带有网页的网址,网页资源服务器用于根据网址查找网页对应的网页代码。
用户向通过客户端浏览网页时,需要在地址栏中输入相应的网址,客户端根据该网址,生成携带有该网址的网页访问请求,并将该网页访问请求发送至相应的网页资源服务器。
网页资源服务器接收到该网页访问请求后,将该网址随影网页的网页代码发送至客户端,其中,该网页代码可以是HTML(HyperText Markup language,超级文本标记语言)编写的代码。
在步骤301B中,接收网页资源服务器发送的网页代码,网页代码包括至少一个网页素材资源所对应的URL地址。
由于一个网页中包含大量的网页素材资源,而每个网页素材资源有对应一个URL地址,所以该网页代码中包含大量的网页素材资源所对应的URL地址。
在步骤301C中,获取网页代码中包括的网页素材资源的URL地址。
客户端逐一获取网页代码中网页素材资源的URL地址,并通过该地址判断对应的网页素材资源是否为广告资源。
在步骤302中,将URL地址进行哈希化操作,得到哈希化操作后的URL地址。
由于通过预设过滤算法匹配出的需要过滤的URL地址使用哈希表进行存储,即第一缓存列表中存储的URL地址都经过哈希化操作,所以当在第一缓存列表中查找是否存储有该URL地址时,需要对该URL地址进行哈希化操作。其中,该第一缓存列表的表结构可以如表一所示:
表一
关键码值 | URL地址 |
Hash A | http://example.com/ads/110 |
Hash B | http://example.com/ads/120 |
Hash C | http://example.com/ads/130 |
其中,该关键码值是URL地址经过哈希化操作后得到的。
客户端在获取到网页素材资源中的URL地址后,通过哈希化操作得到该URL地址对应的关键码值。需要说明的是,本实施例仅以该URL地址经过哈希化操作后得到的是相应的关键码值为例进行说明,并不对本公开构成限定。
在步骤303中,根据经过哈希化操作的URL地址在第一缓存列表中查找是否存储有该URL地址。
当根据经过哈希化操作的URL地址在第一缓存列表中查找到存储有该URL地址时,执行步骤304;当根据经过哈希化操作的URL地址未在第一缓存列表中查找到该URL地址时,执行步骤305。
在步骤304中,当第一缓存列表中存储有该URL地址时,根据第一缓存列表的记录直接过滤该URL地址。
当第一缓存列表中存储有该URL地址时,客户端可以确定该URL地址是预设匹配算法匹配出的需要过滤的URL地址,即该URL地址对应的网页素材资源为广告资源,客户端即对该URL地址进行过滤。
比如,客户端对获取到的URL地址进行哈希化操作,得到关键码值为“HashB”,并根据该关键码值在表一所示的第一缓存列表中进行查找,查找到第一缓存列表中存在该关键码值,即第一缓存列表中存储有该URL地址,此时,客户端不再需要根据预设匹配算法对该URL地址进行匹配,而是直接将该URL地址进行过滤。
在步骤305中,当第一缓存列表中未存储有该URL地址时,根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址。
当第一缓存列表中未存储有该URL地址时,客户端不能确定该URL地址是否为需要过滤的URL地址,所以需要根据预设匹配算法对该URL地址进行匹配。
客户端根据预设匹配算法构建过滤匹配表,其中,该过滤匹配表中存储有至少一个正则表达式,客户端将获取到的URL地址与过滤匹配表中的正则表达式进行匹配,当该URL地址与过滤匹配表中正则表达式匹配时,则确定该URL地址为需要过滤的URL地址,执行步骤306。其中,该过滤匹配表可以如表二所示。
表二
编号 | 正则表达式 |
1 | http://example.com/ads/* |
2 | http://example.com/adv/* |
3 | http://example.com/banner*.gif |
比如,获取到的URL地址为“http://example.com/adv/123”,通过与过滤匹配表中的正则表达式进行匹配,发现该URL地址与编号为2的正则表达式匹配,即确定该URL地址为需要过滤的URL地址。
在步骤306中,当根据预设匹配算法检测到该URL地址是需要过滤的URL地址时,过滤该URL地址。
当根据预设匹配算法检测到该URL地址是需要过滤的URL地址时,客户端即确定该网页素材资源为广告资源,并对该URL请求进行过滤。
在步骤307中,将该URL地址添加到第一缓存列表中。
由于该URL地址是预设匹配算法匹配出的需要过滤的URL地址,所以客户端将该URL地址添加到第一缓存列表中。需要说明的是,由于该第一缓存列表中各个URL地址采用哈希表存储,所以客户端需要先对该URL地址进行哈希化操作,再存入第一缓存列表中。
当客户端再次获取到该URL地址时,由于第一缓存列表中已经存储有该URL地址,所以客户端直接对该URL地址进行过滤,不再需要经过预设匹配算法进行匹配,从而节省了计算资源。
综上所述,本示例性实施例提供的地址过滤方法,通过在地址缓存列表中查找是否存储获取到的URL地址,当未查找到该URL地址时,再根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址;解决当接收到两个相同的URL地址时,需要使用预设匹配算法进行两次相同的匹配操作,不仅影响过滤的效率,而且会浪费计算资源的问题;达到了只需要使用预设匹配算法对未存储在地址缓存列表中的URL地址进行匹配,从而提高了过滤的效率,节省计算资源的效果。
本实施例提供的地址过滤方法,还通过将预设匹配算法匹配出的需要过滤的URL地址存储在第一缓存列表中,并在该第一缓存列表中查找是否存储有网页素材资源对应的URL地址,当该第一缓存列表中存储有该URL地址时,直接对该URL地址进行过滤,当该第一缓存列表中未存储该URL地址时,再通过预设匹配算法进行匹配,减少了算法匹配URL地址的过程,从而节省了计算资源,提高了过滤效率。
本实施例提供的地址过滤方法,还通过对地址缓存列表中的各个URL地址采用哈希表存储,提高了客户端在地址缓存列表中的查找效率,从而提高了过滤效率。
当地址缓存列表包括第二缓存列表时,客户端优先查找该第二缓存列表中是否存储有获取到的网页素材资源对应URL地址,当该第二缓存列表中未存储有该URL地址时,再通过预设匹配算法对该URL进行匹配;且为了提高过滤的效率,客户端还可以根据第二缓存列表中的各个URL地址被查找出的次数,对第二缓存列表中的各个URL地址进行查找优先级排序。下面采用一个示例性实施例进行说明。
图4是根据再一示例性实施例示出的地址过滤方法的方法流程图,本实施例以该地址过滤方法用于图1所示电子设备110来进行说明,该地址过滤方法可以包括如下步骤。
在步骤401中,获取第二缓存列表中各个URL地址被查找出的次数。
第二缓存列表用于存储预设匹配算法匹配出的不需要过滤的URL地址,且第二缓存列表中的URL地址每被查找到一次时,客户端将该URL地址对应的被查找处的次数加一。显而易见的,URL地址对应的被查找出的次数越多,表明用户获取该URL地址对应网页素材资源的次数也越多。所以,客户端可以根据获取到的第二缓存列表中各个URL地址被查找出的次数,确定用户获取对应网页素材资源的次数。
在步骤402中,根据该次数对第二缓存列表中各个URL地址进行查找优先级排序,查找优先级用于标识各个URL地址在查找时的查找先后顺序。
客户端根据获取的各个URL地址被查找出的次数,对第二缓存列表中存储的URL地址进行查找优先级排序,其中,该第二缓存列表可以如表三所示。
表三
查找优先级 | URL地址 | 被查找出的次数 |
4 | URL A | 100 |
3 | URL B | 80 |
2 | URL C | 60 |
1 | URL D | 20 |
其中,客户端在第二缓存列表中查找URL地址时,根据查找优先级,由大到小依次进行查找。需要说明的是,不同的URL地址也可以对应相同的查找优先级,本实施例仅以不同的URL地址对应不同的查找优先级为例进行说明,并不对本公开构成限定。
显而易见的,对于客户端经常访问的网页,其中包含的网页素材资源对应URL地址的查找优先级较高,当用户访问这些经常访问的网页时,在第二缓存列表中的查找效率也较高,从而提高了网页资源获取的效率。
在步骤403中,获取网页素材资源所对应的URL地址,网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种。
与上述步骤301相似的,客户端获取网页素材资源对应的URL地址,并根据该URL地址判断该网页素材资源是否为广告资源。
在步骤404中,在第二缓存列表中查找是否存储有该URL地址。
客户端获取第二缓存列表中各个URL的查找优先级,按照查找优先级从大到小的顺序,将该URL地址与第二缓存列表中的各个URL地址进行对比,从而确定第二缓存列表中是否存储有该URL地址。
当第二缓存列表中存储有该URL地址时,执行步骤405;当第二缓存列表中未存储有该URL地址时,执行步骤406。
在步骤405中,当第二缓存列表中存储有该URL地址时,根据URL地址向网页资源服务器发送网页素材资源获取请求。
当第二缓存列表中存储有该URL地址时,即可确定该URL地址为不需要过滤的URL地址,客户端根据该URL地址生成网页素材资源获取请求,并向网页资源服务器发送该网页素材资源获取请求。
在步骤406中,当第二缓存列表中未存储有该URL地址时,根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址。
当第二缓存列表中未存储有该URL地址时,客户端不能确定该URL地址是否为需要过滤的URL地址,所以需要根据预设匹配算法对该URL地址进行进一步匹配。其中,根据预设匹配算法匹配该URL地址的步骤与上述步骤305相似,在此不再赘述。
在步骤407中,当根据预设匹配算法检测到该URL地址是不需要过滤的URL地址时,根据URL地址向网页资源服务器发送网页素材资源获取请求。
当根据预设匹配算法检测到该URL地址是不需要过滤的URL地址时,客户端即确定该网页素材资源不是广告资源,并向网页资源服务器发送网页素材资源获取请求。对应的,网页资源服务器根据该网页素材资源获取请求返回相应的网页素材资源。
在步骤408中,将该URL地址添加到第二缓存列表中。
由于该URL地址是预设匹配算法匹配出的不需要过滤的URL地址,所以客户端将该URL地址添加到第二缓存列表中。需要说明的是,在将该URL地址添加到第二缓存列表中后,客户端需要检测查找优先级是否需要进行变化,并在查找优先级发生变化时进行调整,从而保证了第二缓存列表中查找优先级的时效性。
当客户端再次获取到该URL地址时,由于第二缓存列表中已经存储有该URL地址,客户端不再需要使用预设匹配算法对该URL地址进行匹配,从而节省了计算资源。
综上所述,本示例性实施例提供的地址过滤方法,通过在地址缓存列表中查找是否存储获取到的URL地址,当未查找到该URL地址时,再根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址;解决当接收到两个相同的URL地址时,需要使用预设匹配算法进行两次相同的匹配操作,不仅影响过滤的效率,而且会浪费计算资源的问题;达到了只需要使用预设匹配算法对未存储在地址缓存列表中的URL地址进行匹配,从而提高了过滤的效率,节省计算资源的效果。
本实施例提供的地址过滤方法,还通过将预设匹配算法匹配出的不需要过滤的URL地址存储在第二缓存列表中,并在该第二缓存列表中查找是否存储有网页素材资源对应的URL地址,当该第二缓存列表中存储有该URL地址时,向网页资源服务器发送网页素材资源获取请求,当该第二缓存列表中未存储该URL地址时,再通过预设匹配算法进行匹配,减少了算法匹配URL地址的过程,从而节省了计算资源,提高了过滤效率。
本实施例提供的地址过滤方法,还通过按照地址缓存列表中各个URL地址被查找出的次数,对各个URL地址进行查找优先级排序,提高了客户端在地址缓存列表中的查找效率,从而提高了过滤效率。
客户端还可以将匹配出的需要过滤的URL地址存储到第一缓存列表,并将匹配出的不需要过滤的URL地址存储到第二缓存列表,当获取到URL地址时,依次在第一缓存列表和第二缓存列表中进行查找,当第一缓存列表和第二缓存列表均为存储该URL地址时,再通过预设匹配算法进行匹配;且为了提高过滤的效率,客户端将地址缓存列表发送至服务器,服务器根据该客户端的访问习惯和其它客户端发送的地址缓存列表生成更新信息,并将该更新信息发送至客户端,是的该地址缓存列表得到进一步补充,从而进一步提高过滤的效率。下面采用一个示例性实施例进行说明。
图5是根据又一示例性实施例示出的地址过滤方法的方法流程图,本实施例以该地址过滤方法用于图1所示电子设备110来进行说明,该地址过滤方法可以包括如下步骤。
在步骤501中,向服务器发送第一缓存列表和第二缓存列表,服务器用于根据第一缓存列表和第二缓存列表分析客户端的访问习惯,并根据客户端的访问习惯和其它客户端发送的第一缓存列表和第二缓存列表生成更新信息。
客户端可以每隔预定时间间隔向服务器发送第一缓存列表和第二缓存列表,该预定时间间隔可以相同也可以不同。比如,客户端可以每隔24小时向服务器发送第一缓存列表和第二缓存列表,也可以在每月1号向服务器发送第一缓存列表和第二缓存列表。需要说明的是,客户端也可以在检测到第一缓存列表或第二缓存列表中添加了新的URL地址时,向服务器发送第一缓存列表和第二缓存列表,本公开并不对此进行限定。
服务器接收到第一缓存列表和第二缓存列表后,根据第一缓存列表和第二缓存列表中存储的URL地址分析客户端的访问习惯,比如,可以根据存储的URL地址分析得到该客户端经常访问的网站。
由于服务器同时接收其它客户端发送的第一缓存列表和第二缓存列表,所以,服务器可以根据该客户端的访问习惯和其它客户端发送的第一缓存列表和第二缓存列表中存储的URL地址,生成更新信息。
比如,服务器分析客户端A发送的第一缓存列表A,得到客户端A经常访问的网站为网站A,且第一缓存列表A中的“URL A”和“URL B”同属于网站A;服务器分析客户端B发送的第一缓存列表B,得到客户端B经常访问的网站为网站A,且第一缓存列表A中的“URL B”和“URL C”同属于网站A;服务器即将“URL C”确定为客户端A对应的更新信息,将“URL A”确定为客户端B对应的更新信息。
服务器将生成的更新信息发送至对应的客户端。
在步骤502中,接收更新信息,并根据更新信息更新第一缓存列表和第二缓存列表。
客户端将更新信息中包含的URL地址添加到对应的地址缓存表中。
在步骤503中,获取网页素材资源所对应的URL地址,网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种。
与上述步骤301相似的,客户端获取网页素材资源所对应的URL地址,并根据该URL地址判断该网页素材资源是否为广告资源。
在步骤504中,检测第一缓存列表中是否存储有该URL地址。
客户端检测第一缓存列表中是否存储有该URL地址,当检测到第一缓存列表中存储有该URL地址,即确定该URL地址为需要过滤的URL地址,并进行过滤;当第一缓存列表中未存储该URL地址时,执行步骤505。
在步骤505中,当第一缓存列表中未存储该URL地址时,检测第二缓存列表中是否存储该URL地址。
客户端检测第二缓存列表中是否存储有该URL地址,当检测到第二缓存列表中存储有该URL地址,即确定该URL地址为不需要过滤的URL地址;当第二缓存列表中未存储该URL地址时,执行步骤506。
在步骤506中,当第二缓存列表中未存储该URL地址时,根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址。
根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址的步骤与上述步骤305相似,在此不再赘述。
在步骤507中,当根据预设匹配算法匹配出该URL地址为需要过滤的URL地址时,过滤该URL地址;将该URL地址添加到第一缓存列表。
当根据预设匹配算法检测到该URL地址是需要过滤的URL地址时,客户端即确定该网页素材资源为广告资源,对该URL地址进行过滤,并将该URL地址添加到第一缓存列表。
在步骤508中,当根据预设匹配算法匹配出该URL地址为不需要过滤的URL地址时,根据该URL地址向网页资源服务器发送网页素材资源获取请求;将该URL地址添加到第二缓存列表。
当根据预设匹配算法检测到该URL地址是不需要过滤的URL地址时,客户端即确定该网页素材资源不是广告资源请求,向网页资源服务器发送网页素材资源获取请求,并将该URL地址添加到第二缓存列表。
综上所述,本示例性实施例提供的地址过滤方法,通过在地址缓存列表中查找是否存储获取到的URL地址,当未查找到该URL地址时,再根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址;解决当接收到两个相同的URL地址时,需要使用预设匹配算法进行两次相同的匹配操作,不仅影响过滤的效率,而且会浪费计算资源的问题;达到了只需要使用预设匹配算法对未存储在地址缓存列表中的URL地址进行匹配,从而提高了过滤的效率,节省计算资源的效果。
本实施例提供的地址过滤方法,还通过将地址缓存列表发送至服务器,由服务器根据该地址缓存列表和其它客户端发送的地址缓存列表生成更新信息,并将该更新信息发送至客户端,客户端根据更新信息对地址缓存列表进行更新,使得具有相同访问习惯的客户端的地址缓存列表得到补充完善,提高了过滤的效率。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图6是根据一示例性实施例示出的地址过滤装置的结构方框图,该地址过滤装置可以通过软件、硬件或者两者的结合实现成为图1所示电子设备110的部分或者全部。该地址过滤装置可以包括:
第一获取模块601,被配置为获取网页素材资源所对应的URL地址,网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;
查找模块602,被配置为在地址缓存列表中查找是否存储有URL地址,地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址;
匹配模块603,被配置为当地址缓存列表中未存储有URL地址时,根据预设匹配算法匹配URL地址是否为需要过滤的URL地址。
综上所述,本示例性实施例提供的地址过滤装置,通过在地址缓存列表中查找是否存储获取到的URL地址,当未查找到该URL地址时,再根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址;解决当接收到两个相同的URL地址时,需要使用预设匹配算法进行两次相同的匹配操作,不仅影响过滤的效率,而且会浪费计算资源的问题;达到了只需要使用预设匹配算法对未存储在地址缓存列表中的URL地址进行匹配,从而提高了过滤的效率,节省计算资源的效果。
图7是根据另一示例性实施例示出的地址过滤装置的结构方框图,该地址过滤装置可以通过软件、硬件或者两者的结合实现成为图1所示电子设备110的部分或者全部。该地址过滤装置可以包括:
第一获取模块701,被配置为获取网页素材资源所对应的URL地址,网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;
查找模块702,被配置为在地址缓存列表中查找是否存储有URL地址,地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址;
匹配模块703,被配置为当地址缓存列表中未存储有URL地址时,根据预设匹配算法匹配URL地址是否为需要过滤的URL地址。
可选的,第一获取模块701,包括:
请求发送子模块701A,被配置为向网页资源服务器发送网页访问请求,网页访问请求携带有网页的网址,网页资源服务器用于根据网址查找网页对应的网页代码;
代码接收子模块701B,接收网页资源服务器发送的网页代码,网页代码包括至少一个网页素材资源所对应的URL地址;
获取子模块701C,被配置为获取网页代码中包括的网页素材资源的URL地址。
可选的,地址缓存列表中的各个URL地址采用哈希表存储;
查找模块702,包括:
操作子模块702A,被配置为将URL地址进行哈希化操作,得到哈希化操作后的URL地址;
查找子模块702B,被配置为根据经过哈希化操作的URL地址在地址缓存列表中查找是否存储有URL地址。
可选的,该装置,还包括:
第二获取模块704,被配置为获取地址缓存列表中各个URL地址被查找出的次数;
排序模块705,被配置为根据次数对地址缓存列表中各个URL地址进行查找优先级排序,查找优先级用于标识各个URL地址在查找时的查找先后顺序。
可选的,地址缓存列表包括第一缓存列表,第一缓存列表用于存储预设匹配算法匹配出的需要过滤的URL地址,
该装置,还包括:
第一过滤模块706,被配置为当根据预设匹配算法检测到URL地址是需要过滤的URL地址时,过滤该URL地址;
第一添加模块707,被配置为将URL地址添加到第一缓存列表中。
可选的,地址缓存列表包括第二缓存列表,第二缓存列表用于存储预设匹配算法匹配出的不需要过滤的URL地址,
该装置,还包括:
第一发送模块708,被配置为当根据预设匹配算法检测到URL地址是不需要过滤的URL地址时,根据该URL地址向网页资源服务器发送网页素材资源获取请求;
第二添加模块709,被配置为将URL地址添加到第二缓存列表中。
可选的,地址缓存列表包括第一缓存列表和第二缓存列表,第一缓存列表用于存储预设匹配算法匹配出的需要过滤的URL地址,第二缓存列表用于存储预设匹配算法匹配出的不需要过滤的URL地址,
查找模块702,包括:
第一检测子模块702C,被配置为检测第一缓存列表中是否存储URL地址;
第二检测子模块702D,被配置为当第一缓存列表中未存储URL地址时,检测第二缓存列表中是否存储URL地址;
第二检测子模块702D,还被配置为当第二缓存列表中未存储URL地址时,执行根据预设匹配算法匹配URL地址是否为需要过滤的URL地址的步骤;
该装置,还包括:
第二过滤模块710,被配置为当根据预设匹配算法匹配出URL地址为需要过滤的URL地址时,过滤该URL地址;将URL地址添加到第一缓存列表;
第二发送模块711,被配置为当根据预设匹配算法匹配出URL地址为不需要过滤的URL地址时,根据URL地址向网页资源服务器发送网页素材资源获取请求;将URL地址添加到第二缓存列表。
可选的,该装置,还包括:
列表发送模块712,被配置为向服务器发送地址缓存列表,服务器用于根据地址缓存列表分析客户端的访问习惯,并根据客户端的访问习惯和其它客户端发送的地址缓存列表生成更新信息;
接收模块713,被配置为接收更新信息,并根据更新信息更新地址缓存列表。
可选的,该装置,还包括:
第三过滤模块714,被配置为当地址缓存列表中存储有URL地址时,根据地址缓存列表的记录直接过滤URL地址,或,根据该URL地址向网页资源服务器发送网页素材资源获取请求。
综上所述,本示例性实施例提供的地址过滤装置,通过在地址缓存列表中查找是否存储获取到的URL地址,当未查找到该URL地址时,再根据预设匹配算法匹配该URL地址是否为需要过滤的URL地址;解决当接收到两个相同的URL地址时,需要使用预设匹配算法进行两次相同的匹配操作,不仅影响过滤的效率,而且会浪费计算资源的问题;达到了只需要使用预设匹配算法对未存储在地址缓存列表中的URL地址进行匹配,从而提高了过滤的效率,节省计算资源的效果。
本实施例提供的地址过滤装置,还通过将预设匹配算法匹配出的需要过滤的URL地址存储在第一缓存列表中,并在该第一缓存列表中查找是否存储有网页素材资源对应的URL地址,当该第一缓存列表中存储有该URL地址时,直接对该URL地址进行过滤,当该第一缓存列表中未存储该URL地址时,再通过预设匹配算法进行匹配,减少了算法匹配URL地址的过程,从而节省了计算资源,提高了过滤效率。
本实施例提供的地址过滤装置,还通过对地址缓存列表中的各个URL地址采用哈希表存储,提高了客户端在地址缓存列表中的查找效率,从而提高了过滤效率。
本实施例提供的地址过滤装置,还通过将预设匹配算法匹配出的不需要过滤的URL地址存储在第二缓存列表中,并在该第二缓存列表中查找是否存储有网页素材资源对应的URL地址,当该第二缓存列表中存储有该URL地址时,向网页资源服务器发送网页素材资源获取请求,当该第二缓存列表中未存储该URL地址时,再通过预设匹配算法进行匹配,减少了算法匹配URL地址的过程,从而节省了计算资源,提高了过滤效率。
本实施例提供的地址过滤装置,还通过按照地址缓存列表中各个URL地址被查找出的次数,对各个URL地址进行查找优先级排序,提高了客户端在地址缓存列表中的查找效率,从而提高了过滤效率。
本实施例提供的地址过滤装置,还通过将地址缓存列表发送至服务器,由服务器根据该地址缓存列表和其它客户端发送的地址缓存列表生成更新信息,并将该更新信息发送至客户端,客户端根据更新信息对地址缓存列表进行更新,使得具有相同访问习惯的客户端的地址缓存列表得到补充完善,提高了过滤的效率。
图8是根据一示例性实施例示出的地址过滤装置800的框图。例如,装置800可以是如图1所示的电子设备110。
参照图8,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到装置800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由装置800的处理器执行时,使得装置800能够执行应用于如图1所示的电子设备110中的地址过滤方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (19)
1.一种地址过滤方法,其特征在于,所述方法包括:
获取网页素材资源所对应的统一资源定位符URL地址,所述网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;
在地址缓存列表中查找是否存储有所述URL地址,所述地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址;
当所述地址缓存列表中未存储有所述URL地址时,根据所述预设匹配算法匹配所述URL地址是否为需要过滤的URL地址。
2.根据权利要求1所述的方法,其特征在于,所述获取网页素材资源所对应的统一资源定位符URL地址,包括:
向网页资源服务器发送网页访问请求,所述网页访问请求携带有所述网页的网址,所述网页资源服务器用于根据所述网址查找所述网页对应的网页代码;
接收所述网页资源服务器发送的所述网页代码,所述网页代码包括至少一个所述网页素材资源所对应的URL地址;
获取所述网页代码中包括的所述网页素材资源的URL地址。
3.根据权利要求1所述的方法,其特征在于,所述地址缓存列表中的各个URL地址采用哈希表存储;
所述在地址缓存列表中查找是否存储有所述URL地址,包括:
将所述URL地址进行哈希化操作,得到哈希化操作后的URL地址;
根据经过所述哈希化操作的URL地址在所述地址缓存列表中查找是否存储有所述URL地址。
4.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
获取所述地址缓存列表中各个URL地址被查找出的次数;
根据所述次数对所述地址缓存列表中各个URL地址进行查找优先级排序,所述查找优先级用于标识各个URL地址在查找时的查找先后顺序。
5.根据权利要求1所述的方法,其特征在于,所述地址缓存列表包括第一缓存列表,所述第一缓存列表用于存储所述预设匹配算法匹配出的需要过滤的URL地址,
所述方法,还包括:
当根据所述预设匹配算法检测到所述URL地址是所述需要过滤的URL地址时,过滤所述URL地址;
将所述URL地址添加到所述第一缓存列表中。
6.根据权利要求1所述的方法,其特征在于,所述地址缓存列表包括第二缓存列表,所述第二缓存列表用于存储所述预设匹配算法匹配出的不需要过滤的URL地址,
所述方法,还包括:
当根据所述预设匹配算法检测到所述URL地址是所述不需要过滤的URL地址时,根据所述URL地址向网页资源服务器发送网页素材资源获取请求;
将所述URL地址添加到所述第二缓存列表中。
7.根据权利要求1所述的方法,其特征在于,所述地址缓存列表包括第一缓存列表和第二缓存列表,所述第一缓存列表用于存储所述预设匹配算法匹配出的需要过滤的URL地址,所述第二缓存列表用于存储所述预设匹配算法匹配出的不需要过滤的URL地址,
所述在地址缓存列表中查找是否存储所述URL地址,包括:
检测所述第一缓存列表中是否存储有所述URL地址;
当所述第一缓存列表中未存储所述URL地址时,检测所述第二缓存列表中是否存储所述URL地址;
当所述第二缓存列表中未存储所述URL地址时,执行所述根据所述预设匹配算法匹配所述URL地址是否为需要过滤的URL地址的步骤;
所述方法,还包括:
当根据所述预设匹配算法匹配出所述URL地址为所述需要过滤的URL地址时,过滤所述URL地址;将所述URL地址添加到所述第一缓存列表;
当根据所述预设匹配算法匹配出所述URL地址为所述不需要过滤的URL地址时,根据所述URL地址向网页资源服务器发送网页素材资源获取请求;将所述URL地址添加到所述第二缓存列表。
8.根据权利要求5至7任一所述的方法,其特征在于,所述方法,还包括:
向服务器发送所述地址缓存列表,所述服务器用于根据所述地址缓存列表分析客户端的访问习惯,并根据所述客户端的访问习惯和其它客户端发送的所述地址缓存列表生成更新信息;
接收所述更新信息,并根据所述更新信息更新所述地址缓存列表。
9.根据权利要求1至7任一所述的方法,其特征在于,所述方法,还包括:
当所述地址缓存列表中存储有所述URL地址时,根据所述地址缓存列表的记录直接过滤所述URL地址,或,根据所述URL地址向所述网页资源服务器发送所述网页素材资源获取请求。
10.一种地址过滤装置,其特征在于,所述装置包括:
第一获取模块,被配置为获取网页素材资源所对应的统一资源定位符URL地址,所述网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;
查找模块,被配置为在地址缓存列表中查找是否存储有所述URL地址,所述地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址;
匹配模块,被配置为当所述地址缓存列表中未存储有所述URL地址时,根据所述预设匹配算法匹配所述URL地址是否为需要过滤的URL地址。
11.根据权利要求10所述的装置,其特征在于,所述第一获取模块,包括:
请求发送子模块,被配置为向网页资源服务器发送网页访问请求,所述网页访问请求携带有所述网页的网址,所述网页资源服务器用于根据所述网址查找所述网页对应的网页代码;
代码接收子模块,接收所述网页资源服务器发送的所述网页代码,所述网页代码包括至少一个所述网页素材资源所对应的URL地址;
获取子模块,被配置为获取所述网页代码中包括的所述网页素材资源的URL地址。
12.根据权利要求10所述的装置,其特征在于,所述地址缓存列表中的各个URL地址采用哈希表存储;
所述查找模块,包括:
操作子模块,被配置为将所述URL地址进行哈希化操作,得到哈希化操作后的URL地址;
查找子模块,被配置为根据经过所述哈希化操作的URL地址在所述地址缓存列表中查找是否存储有所述URL地址。
13.根据权利要求10所述的装置,其特征在于,所述装置,还包括:
第二获取模块,被配置为获取所述地址缓存列表中各个URL地址被查找出的次数;
排序模块,被配置为根据所述次数对所述地址缓存列表中各个URL地址进行查找优先级排序,所述查找优先级用于标识各个URL地址在查找时的查找先后顺序。
14.根据权利要求10所述的装置,其特征在于,所述地址缓存列表包括第一缓存列表,所述第一缓存列表用于存储所述预设匹配算法匹配出的需要过滤的URL地址,
所述装置,还包括:
第一过滤模块,被配置为当根据所述预设匹配算法检测到所述URL地址是所述需要过滤的URL地址时,过滤所述URL地址;
第一添加模块,被配置为将所述URL地址添加到所述第一缓存列表中。
15.根据权利要求10所述的装置,其特征在于,所述地址缓存列表包括第二缓存列表,所述第二缓存列表用于存储所述预设匹配算法匹配出的不需要过滤的URL地址,
所述装置,还包括:
第一发送模块,被配置为当根据所述预设匹配算法检测到所述URL地址是所述不需要过滤的URL地址时,根据所述URL地址向网页资源服务器发送网页素材资源获取请求;
第二添加模块,被配置为将所述URL地址添加到所述第二缓存列表中。
16.根据权利要求10所述的装置,其特征在于,所述地址缓存列表包括第一缓存列表和第二缓存列表,所述第一缓存列表用于存储所述预设匹配算法匹配出的需要过滤的URL地址,所述第二缓存列表用于存储所述预设匹配算法匹配出的不需要过滤的URL地址,
所述查找模块,包括:
第一检测子模块,被配置为检测所述第一缓存列表中是否存储所述URL地址;
第二检测子模块,被配置为当所述第一缓存列表中未存储所述URL地址时,检测所述第二缓存列表中是否存储所述URL地址;
所述第二检测子模块,还被配置为当所述第二缓存列表中未存储所述URL地址时,执行所述根据所述预设匹配算法匹配所述URL地址是否为需要过滤的URL地址的步骤;
所述装置,还包括:
第二过滤模块,被配置为当根据所述预设匹配算法匹配出所述URL地址为所述需要过滤的URL地址时,过滤所述URL地址;将所述URL地址添加到所述第一缓存列表;
第二发送模块,被配置为当根据所述预设匹配算法匹配出所述URL地址为所述不需要过滤的URL地址时,根据所述URL地址向网页资源服务器发送网页素材资源获取请求;将所述URL地址添加到所述第二缓存列表。
17.根据权利要求14至16任一所述的装置,其特征在于,所述装置,还包括:
列表发送模块,被配置为向服务器发送所述地址缓存列表,所述服务器用于根据所述地址缓存列表分析客户端的访问习惯,并根据所述客户端的访问习惯和其它客户端发送的所述地址缓存列表生成更新信息;
接收模块,被配置为接收所述更新信息,并根据所述更新信息更新所述地址缓存列表。
18.根据权利要求10至16任一所述的装置,其特征在于,所述装置,还包括:
第三过滤模块,被配置为当所述地址缓存列表中存储有所述URL地址时,根据所述地址缓存列表的记录直接过滤所述URL地址,或,根据所述URL地址向所述网页资源服务器发送所述网页素材资源获取请求。
19.一种地址过滤装置,其特征在于,包括:
处理器;
用于存储所述处理器的可执行指令的存储器;
其中,所述处理器被配置为:
获取网页素材资源所对应的统一资源定位符URL地址,所述网页素材资源包括图片资源、音频资源、视频资源和文字资源中的至少一种;
在地址缓存列表中查找是否存储有所述URL地址,所述地址缓存列表用于存储已经经过预设匹配算法匹配的URL地址;
当所述地址缓存列表中未存储有所述URL地址时,根据所述预设匹配算法匹配所述URL地址是否为需要过滤的URL地址。
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510079200.5A CN104683496B (zh) | 2015-02-13 | 2015-02-13 | 地址过滤方法及装置 |
MX2015015404A MX357349B (es) | 2015-02-13 | 2015-08-31 | Método y dispositivo de filtrado de direcciones. |
KR1020157031176A KR101777035B1 (ko) | 2015-02-13 | 2015-08-31 | 주소 필터링 방법, 장치, 프로그램 및 기록매체 |
RU2015147593A RU2630746C2 (ru) | 2015-02-13 | 2015-08-31 | Способ и устройство фильтрации адреса |
PCT/CN2015/088632 WO2016127625A1 (zh) | 2015-02-13 | 2015-08-31 | 地址过滤方法及装置 |
JP2016574327A JP6302098B2 (ja) | 2015-02-13 | 2015-08-31 | アドレスフィルタリング方法、装置、プログラム及び記録媒体 |
BR112015028941A BR112015028941A2 (pt) | 2015-02-13 | 2015-08-31 | método e dispositivo de filtragem de endereço |
EP15196172.9A EP3057006A1 (en) | 2015-02-13 | 2015-11-25 | Method and device of filtering address |
US14/960,446 US20160241674A1 (en) | 2015-02-13 | 2015-12-07 | Method and device of filtering address |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510079200.5A CN104683496B (zh) | 2015-02-13 | 2015-02-13 | 地址过滤方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104683496A true CN104683496A (zh) | 2015-06-03 |
CN104683496B CN104683496B (zh) | 2018-06-19 |
Family
ID=53318060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510079200.5A Active CN104683496B (zh) | 2015-02-13 | 2015-02-13 | 地址过滤方法及装置 |
Country Status (9)
Country | Link |
---|---|
US (1) | US20160241674A1 (zh) |
EP (1) | EP3057006A1 (zh) |
JP (1) | JP6302098B2 (zh) |
KR (1) | KR101777035B1 (zh) |
CN (1) | CN104683496B (zh) |
BR (1) | BR112015028941A2 (zh) |
MX (1) | MX357349B (zh) |
RU (1) | RU2630746C2 (zh) |
WO (1) | WO2016127625A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016127625A1 (zh) * | 2015-02-13 | 2016-08-18 | 小米科技有限责任公司 | 地址过滤方法及装置 |
CN107888981A (zh) * | 2017-11-16 | 2018-04-06 | 北京小米移动软件有限公司 | 音视频预加载方法、装置、设备及存储介质 |
CN110825987A (zh) * | 2019-11-07 | 2020-02-21 | 北京博睿宏远数据科技股份有限公司 | 一种流媒体资源地址获取方法、装置、设备和存储介质 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112861030B (zh) * | 2019-11-27 | 2024-04-05 | 北京金山云网络技术有限公司 | Cdn的刷新方法和装置、缓存服务器以及存储介质 |
CN112286592A (zh) * | 2020-10-29 | 2021-01-29 | 平安普惠企业管理有限公司 | 资源数据的加载方法及装置、存储介质、计算机设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1475930A (zh) * | 2002-08-15 | 2004-02-18 | 联想(北京)有限公司 | 基于状态检测的链路层资源定位信息过滤的方法 |
US20080086555A1 (en) * | 2006-10-09 | 2008-04-10 | David Alexander Feinleib | System and Method for Search and Web Spam Filtering |
CN103838728A (zh) * | 2012-11-21 | 2014-06-04 | 腾讯科技(深圳)有限公司 | 网页信息的处理方法及浏览器 |
CN104021126A (zh) * | 2013-02-28 | 2014-09-03 | 深圳市世纪光速信息技术有限公司 | 网页内容的过滤方法及服务器 |
CN104144170A (zh) * | 2014-08-25 | 2014-11-12 | 网神信息技术(北京)股份有限公司 | 网页地址的过滤方法、装置和系统 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5822759A (en) * | 1996-11-22 | 1998-10-13 | Versant Object Technology | Cache system |
US7194464B2 (en) * | 2001-12-07 | 2007-03-20 | Websense, Inc. | System and method for adapting an internet filter |
GB2445764A (en) * | 2007-01-22 | 2008-07-23 | Surfcontrol Plc | Resource access filtering system and database structure for use therewith |
US8849838B2 (en) * | 2008-01-15 | 2014-09-30 | Google Inc. | Bloom filter for storing file access history |
JP4939562B2 (ja) * | 2009-03-19 | 2012-05-30 | ヤフー株式会社 | Webサーバ、広告再表示方法 |
JP5003742B2 (ja) * | 2009-10-15 | 2012-08-15 | Necアクセステクニカ株式会社 | コンテンツフィルタリングシステム、コンテンツフィルタリング方法及びゲートウェイ |
WO2012009672A1 (en) * | 2010-07-16 | 2012-01-19 | Altruik, Inc. | System and method for improving webpage indexing and optimization |
JP5723306B2 (ja) * | 2012-02-22 | 2015-05-27 | 日本電信電話株式会社 | フィルタリング装置、および、フィルタリング方法 |
CN103428196B (zh) * | 2012-12-27 | 2016-08-03 | 北京安天电子设备有限公司 | 一种基于url白名单的web应用入侵检测方法 |
CN103544316B (zh) * | 2013-11-06 | 2017-02-08 | 苏州大拿信息技术有限公司 | Url过滤的系统及其实现方法 |
CN104683496B (zh) * | 2015-02-13 | 2018-06-19 | 小米通讯技术有限公司 | 地址过滤方法及装置 |
-
2015
- 2015-02-13 CN CN201510079200.5A patent/CN104683496B/zh active Active
- 2015-08-31 RU RU2015147593A patent/RU2630746C2/ru active
- 2015-08-31 KR KR1020157031176A patent/KR101777035B1/ko active IP Right Grant
- 2015-08-31 MX MX2015015404A patent/MX357349B/es active IP Right Grant
- 2015-08-31 BR BR112015028941A patent/BR112015028941A2/pt not_active Application Discontinuation
- 2015-08-31 JP JP2016574327A patent/JP6302098B2/ja active Active
- 2015-08-31 WO PCT/CN2015/088632 patent/WO2016127625A1/zh active Application Filing
- 2015-11-25 EP EP15196172.9A patent/EP3057006A1/en not_active Ceased
- 2015-12-07 US US14/960,446 patent/US20160241674A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1475930A (zh) * | 2002-08-15 | 2004-02-18 | 联想(北京)有限公司 | 基于状态检测的链路层资源定位信息过滤的方法 |
US20080086555A1 (en) * | 2006-10-09 | 2008-04-10 | David Alexander Feinleib | System and Method for Search and Web Spam Filtering |
CN103838728A (zh) * | 2012-11-21 | 2014-06-04 | 腾讯科技(深圳)有限公司 | 网页信息的处理方法及浏览器 |
CN104021126A (zh) * | 2013-02-28 | 2014-09-03 | 深圳市世纪光速信息技术有限公司 | 网页内容的过滤方法及服务器 |
CN104144170A (zh) * | 2014-08-25 | 2014-11-12 | 网神信息技术(北京)股份有限公司 | 网页地址的过滤方法、装置和系统 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016127625A1 (zh) * | 2015-02-13 | 2016-08-18 | 小米科技有限责任公司 | 地址过滤方法及装置 |
CN107888981A (zh) * | 2017-11-16 | 2018-04-06 | 北京小米移动软件有限公司 | 音视频预加载方法、装置、设备及存储介质 |
CN110825987A (zh) * | 2019-11-07 | 2020-02-21 | 北京博睿宏远数据科技股份有限公司 | 一种流媒体资源地址获取方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20160241674A1 (en) | 2016-08-18 |
JP6302098B2 (ja) | 2018-03-28 |
WO2016127625A1 (zh) | 2016-08-18 |
KR20160110064A (ko) | 2016-09-21 |
JP2017511556A (ja) | 2017-04-20 |
KR101777035B1 (ko) | 2017-09-19 |
RU2015147593A (ru) | 2017-05-11 |
MX2015015404A (es) | 2017-03-15 |
EP3057006A1 (en) | 2016-08-17 |
CN104683496B (zh) | 2018-06-19 |
RU2630746C2 (ru) | 2017-09-12 |
MX357349B (es) | 2018-07-05 |
BR112015028941A2 (pt) | 2017-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104159275B (zh) | 网络连接方法及装置 | |
CN104156233B (zh) | 轻应用离线更新方法、装置及终端 | |
CN104079962A (zh) | 一种推送推荐信息的方法及装置 | |
CN105095427A (zh) | 搜索推荐方法和装置 | |
CN104035979A (zh) | 对象推荐的方法及相关装置 | |
CN104731868A (zh) | 拦截广告的方法及装置 | |
CN104683496A (zh) | 地址过滤方法及装置 | |
CN105159524A (zh) | 界面显示方法及装置 | |
CN104331503A (zh) | 信息推送的方法及装置 | |
CN104111979A (zh) | 搜索推荐方法和装置 | |
CN104158854B (zh) | 资源共享方法及装置 | |
CN105160009B (zh) | 资源下载方法和装置 | |
CN104536787A (zh) | 资源预加载方法及装置 | |
CN104182505A (zh) | 网页重排方法和装置 | |
JP6239188B2 (ja) | 情報フィルタリング方法、装置、プログラム及び記録媒体 | |
CN105488200A (zh) | 网页显示方法及装置 | |
CN104572848A (zh) | 基于浏览器的搜索方法及装置 | |
CN105488065A (zh) | 网页访问方法、装置及终端 | |
CN105956202A (zh) | 浏览器中的网页显示方法、装置及终端 | |
CN105630948A (zh) | 网络页面显示方法和装置 | |
CN105512278A (zh) | 网页显示方法及装置 | |
CN105653658A (zh) | 信息展示方法及装置 | |
CN104239407A (zh) | 一种显示网页的方法和装置 | |
CN104036041A (zh) | 搜索方法及装置 | |
CN104376030A (zh) | 浏览器书签智能分组的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20150930 Address after: 100085, Haidian District, Beijing Qinghe Street No. 68, Huarun colorful city shopping center two, 9 layers Applicant after: Millet Communication Technology Co Ltd Address before: 100085 Beijing city Haidian District Qinghe Street No. 68 Huarun colorful city shopping center two floor 13 Applicant before: Xiaomi Technology Co., Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |