CN101102313A - 自动更换代理服务器的网络下载系统及方法 - Google Patents
自动更换代理服务器的网络下载系统及方法 Download PDFInfo
- Publication number
- CN101102313A CN101102313A CNA2007101124092A CN200710112409A CN101102313A CN 101102313 A CN101102313 A CN 101102313A CN A2007101124092 A CNA2007101124092 A CN A2007101124092A CN 200710112409 A CN200710112409 A CN 200710112409A CN 101102313 A CN101102313 A CN 101102313A
- Authority
- CN
- China
- Prior art keywords
- acting server
- address
- server
- module
- tabulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种自动更换代理服务器的网络下载系统和方法,该系统包括下载模块,还包括代理服务器信息获取模块、代理服务器验证模块和代理服务器设置模块;代理服务器信息获取模块从指定的远程服务器上获取代理服务器信息,并存储于本地的代理服务器列表;代理服务器验证模块验证代理服务器列表中的代理服务器的可用性,并进行相应标记;代理服务器设置模块在下载模块当前所用的网络连接IP地址访问受限时,将代理服务器列表中标记为可用的代理服务器记录中的IP地址设置为网络连接IP地址;下载模块通过该代理服务器IP地址所对应的代理服务器进行网络下载。采用本发明,可实现自动更换IP地址进行网络下载,提高工作效率。
Description
技术领域
本发明涉及通信领域中的计算机与互联网络通信技术,尤其涉及一种自动更换代理服务器的网络下载系统及方法。
背景技术
目前的大多数互联网网站都提供了资料查询和文件下载的功能,方便了网络用户进行大量资料的查阅和文件资料的下载,但为了服务器的稳定性或者是其他的一些特殊要求,有相当一部分的网站对于访问用户进行了限制,比如每个固定的IP地址每天只能查阅一定量的数据记录等。
这些限制使得网站正常运行起到了一定的保护作用,但对于每天需要查阅大量的数据资料的用户来说,给用户的资料查阅和下载造成了很大的不便。
目前有一种可以解决该限制的方式,用户可以手工修改连接网络的代理服务器IP地址,通过代理服务器把数据资料下载后,再转发到用户的真实IP地址所对应的客户端。由于网站只能识别出连接到网站的代理服务器的IP地址,无法识别出用户的真实IP地址,这样用户的真实IP地址就不会被限制,网站只能限制代理服务器的IP地址。
但当代理服务器的IP地址被限制后,用户需要手工再更换一个新代理服务器IP地址,如果用户需要查阅下载的资料非常多的情况下,就需要频繁地更换代理服务器IP地址,操作起来很不方便。
互联网上的代理服务器IP地址并不是现成的,需要用户从互联网上查找验证,才能得到足够多的可用的代理服务器资源,这对用户来说也是一件非常费时的工作。
发明内容
本发明提供一种自动更换代理服务器的网络下载方法,用以克服现有技术手工更新代理服务器IP地址进行网络下载导致的工作效率低的问题,实现了自动更换代理服务器进行网络下载,本发明方法包括如下步骤:
从指定的远程服务器上获取代理服务器信息,并存储于本地的代理服务器列表;
验证所述代理服务器列表中的代理服务器是否可用,若可用,则将该代理服务器记录标记为可用;否则,标记为不可用;
当前的网络连接IP地址访问受限时,将所述代理服务器列表中标记为可用的代理服务器记录中的IP地址设置为网络连接IP地址,并通过该IP地址对应的代理服务器进行网络下载。
本发明还提供了一种自动更换代理服务器的网络下载系统,该系统包括下载模块,还包括:代理服务器信息获取模块、代理服务器验证模块和代理服务器设置模块;
所述代理服务器信息获取模块,用于从指定的远程服务器上获取代理服务器信息,并存储于本地的代理服务器列表;
所述代理服务器验证模块,用于验证所述代理服务器列表中的代理服务器是否可用,若可用,则将该代理服务器记录标记为可用;否则,标记为不可用;
所述代理服务器设置模块,用于在所述下载模块当前所用的网络连接IP地址访问受限时,将所述代理服务器列表中标记为可用的代理服务器记录中的IP地址设置为网络连接IP地址;
所述下载模块通过与所述代理服务器设置模块设置的网络连接IP地址所对应的代理服务器进行网络下载。
本发明有益效果如下:
本发明通过获取代理服务器信息,并验证其可用性,在当前的网络连接IP地址访问受限时,可采用被验证为可用的代理服务器IP地址作为当前的网络连接IP地址,通过该代理服务器IP地址对应的代理服务器进行网络下载,从而实现自动更换IP地址进行网络下载,提高了工作效率。
附图说明
图1为本发明实施例的自动更换代理服务器的网络下载系统结构示意图。
具体实施方式
本发明提供一种自动更换代理服务器进行网络下载的方法和系统,该方法和系统可从指定的网站服务器中,读取代理服务器列表存储到本地,在用户浏览设置了固定IP地址限制的网站时,可自动从本地的侯选代理服务器列表中提取代理服务器的IP地址,并将其设置为当前的网络连接IP地址,则该代理服务器被设置为当前的网络连接代理服务器,解除了特定网站对于客户端固定IP的浏览下载的限制,节省了从该受限网站查阅下载数据资料的时间。
下面结合附图对本发明实施例进行详细描述。
参见图1,为本发明实施例提供的自动更换代理服务器的网络下载系统的结构示意图,该系统包括下载模块,还包括:代理服务器信息获取模块、代理服务器验证模块和代理服务器设置模块。
代理服务器信息获取模块,用于获取代理服务器信息,包括代理服务器的IP地址,以及登录该代理服务器的登录用户名和登录密码等,并将获取到的代理服务器信息存储于本地的代理服务器列表;
代理服务器验证模块,用于验证代理服务器列表中的代理服务器IP地址是否可用,验证登录用户名和密码是否正确,并进行相应标记;
代理服务器设置模块,用于在下载模块当前所用的网络连接IP地址访问受限时,将代理服务器列表中标记为可用的代理服务器的IP地址设置为下载模块当前的网络连接IP地址,使该代理服务器成为下载模块当前的网络连接代理服务器;
下载模块通过设置的代理服务器访问互联网络,进行网络下载。
如图1所示,代理服务器信息获取模块包括获取子模块和存储子模块。
可预先设定提供代理服务器信息的互联网地址,并设定从该地址所链接的文件中提取代理服务器信息的方式。获取子模块可以按照预先的设定,自动链接到设定的地址,并按照设定的方式从中提取代理服务器信息。预先设定好的互联网地址所链接的文件可以是TXT文本文件、EXCEL电子表格文件、HTML(HyperText Markup Language,超文本标记语言)文件、ASP(Active ServerPages,动态服务器主页)文件等,但不仅限于这些文件,只要是规律性的按行、列表格形式显示的代理服务器信息都可以。根据这些文件类型或代理服务器信息的显示规律,设定提取代理服务器信息的方式,例如,若代理服务器信息存储于EXCEL电子表格文件中,则将指定的行列所对应的信息作为代理服务器IP地址。获取子模块采用设定的代理服务器信息的提取方式,从文件所提供的代理服务器信息中,获取代理服务器的IP地址、端口号、登录用户名和密码等信息,比如IP地址为202.98.164.64,端口为8080,用户名和密码分别为user。
存储子模块将获取子模块获取到的代理服务器信息以列表形式存储到本地文件或数据库中,形成代理服务器列表。存储子模块在代理服务器列表中追加代理服务器记录的验证标记,在存储过程中,将该验证标记设置为未验证。代理服务器信息也可以通过其它方式,如文件导入方式,导入到代理服务器列表中。
代理服务器信息获取模块还可包括重复判断子模块。重复判断子模块对获取子模块获取到的代理服务器信息,根据预先设定的列表字段,判断是否列表中已经存在相同的记录,对于列表中已经存在的代理服务器的记录进行排除。例如,由于IP地址的唯一性,可将IP地址作为比较字段,比较获取子模块获取到的代理服务器IP地址与列表记录中的IP地址是否相同,若相同,则重复判断子模块将对应的代理服务器信息从获取子模块获取到的代理服务器信息中排除,并通过存储子模块将排除后剩余的代理服务器信息存储于代理服务器列表,从而避免存储子模块重复存储代理服务器信息。
如图1所示,代理服务器验证模块从代理服务器列表中,读取出标记为未验证的代理服务器记录,将预先设定的数据下载内容通过该代理服务器IP地址,发送到指定的网站进行下载请求。如果返回成功,则代理服务器验证模块将该代理服务器信息记录中的验证标记设置为可用;如果返回不成功或返回内容与实际内容有误,比如由于IP地址错误或登录错误等原因连接不到代理服务器而返回不成功信息,或连接到该代理服务器但返回的内容不是预先设定的数据,而是一些包含了错误提示信息的内容,如“已经超过了每天300个文件查阅限制”等的提示,这时代理服务器验证模块将该代理服务器记录中的验证标记设置为不可用。该条代理服务器记录验证完成后,代理服务器验证模块将自动转到下一条标记为未验证的代理服务器记录,以相同的方式对该代理服务器进行验证。
例如,可预先指定一个图片文件的下载链接地址对代理服务器是否可用进行验证,代理服务器验证模块将预先指定的图片文件的链接地址通过代理服务器IP地址发送到指定网站请求下载。如果返回一个文件大小正常的图片文件,则表明该代理服务器可用,则代理服务器验证模块将该代理服务器记录中的验证标记设置为可用。
如图1所示,代理服务器设置模块包括检测子模块和设置子模块。
检测子模块用于检测下载模块当前所用的网络连接的IP地址的使用状态,当检测到当前的网络连接IP地址由于受限而不能浏览网页或下载数据时,则发送连接设置请求,请求设置子模块重新设置可用的网络连接IP地址。
设置子模块根据该请求,从代理服务器列表中查找标记为可用的代理服务器记录,并将其中一个可用的代理服务器设置为当前下载模块所用的网络连接服务器,例如,将该代理服务器的IP地址、端口号设置为当前的网络连接IP地址、端口号,使下载模块能够采用该代理服务器的登录用户名和密码登录该代理服务器,通过该代理服务器IP地址、端口号向指定网站发送访问请求,以便浏览该网站的信息资料,或进行网络下载。
代理服务器设置模块还可包括更新子模块。当检测子模块检测到下载模块当前所用的代理服务器的连接受到被访问网站的限制时,或出现其它提示错误信息时,通过更新子模块将代理服务器列表中该代理服务器记录的验证标记设置为不可用。同时,检测子模块请求设置子模块重新为下载模块设置可用的代理服务器作为网络连接代理服务器。
综上所述,本发明通过从指定网站获取代理服务器信息,并逐一验证代理服务器的可用性,在当前的网络连接IP访问受限时,将验证为可用的代理服务器的IP地址设置为当前的网络连接地址,进行网络下载。从而在客户端具有一个固定的IP地址的情况下,解除特定网站对于同一固定IP地址只能浏览下载一定数量的资料信息的限制,从而可大批量查阅下载特定网站数据资源,减少查阅下载资料信息的时间,提高工作效率。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1、一种自动更换代理服务器的网络下载方法,其特征在于,包括如下步骤:
从指定的远程服务器上获取代理服务器信息,并存储于本地的代理服务器列表;
验证所述代理服务器列表中的代理服务器是否可用,若可用,则将该代理服务器记录标记为可用;否则,标记为不可用;
当前的网络连接IP地址访问受限时,将所述代理服务器列表中标记为可用的代理服务器记录中的IP地址设置为网络连接IP地址,并通过该IP地址对应的代理服务器进行网络下载。
2、如权利要求1所述的方法,其特征在于,将获取到的代理服务器信息存储于代理服务器列表时,进一步包括步骤:从获取到的代理服务器信息中排除与所述代理服务器列表中相同的代理服务器记录,并将所剩的服务器信息存储于所述代理服务器列表。
3、如权利要求1所述的方法,其特征在于,将获取到的代理服务器信息存储于本地的代理服务器列表时,进一步包括步骤:将存储到所述代理服务器列表中的所述代理服务器记录标记为未验证;
在验证所述代理服务器列表中的代理服务器是否可用时,获取所述代理服务器列表中标记为未验证的代理服务器记录进行验证。
4、如权利要求1所述的方法,其特征在于,验证所述代理服务器列表中的代理服务器是否可用的过程包括:
通过所述代理服务器IP地址下载指定数据;
若下载成功,则将所述代理服务器IP地址对应的代理服务器记录标记为可用;否则,标记为不可用。
5、如权利要求1所述的方法,其特征在于,若当前的网络连接IP地址为代理服务器IP地址,并且所述代理服务器IP地址访问受限时,进一步包括步骤:将所述代理服务器列表中与该代理服务器IP地址对应的代理服务器记录标记为不可用。
6、一种自动更换代理服务器的网络下载系统,包括下载模块,其特征在于,还包括:代理服务器信息获取模块、代理服务器验证模块和代理服务器设置模块;
所述代理服务器信息获取模块,用于从指定的远程服务器上获取代理服务器信息,并存储于本地的代理服务器列表;
所述代理服务器验证模块,用于验证所述代理服务器列表中的代理服务器是否可用,若可用,则将该代理服务器记录标记为可用;否则,标记为不可用;
所述代理服务器设置模块,用于在所述下载模块当前所用的网络连接IP地址访问受限时,将所述代理服务器列表中标记为可用的代理服务器记录中的IP地址设置为网络连接IP地址;
所述下载模块通过与所述代理服务器设置模块设置的网络连接IP地址所对应的代理服务器进行网络下载。
7、如权利要求6所述的网络下载系统,其特征在于,所述代理服务器信息获取模块包括:
获取子模块,用于通过互联网络,根据指定地址从相应的远程服务器获取包含有代理服务器信息的文件,并从所述文件中获取代理服务器信息;
存储子模块,用于将所述获取子模块获取到的代理服务器信息保存于本地的代理服务器列表,并将保存于所述代理服务器列表的所述代理服务器记录标记为未验证。
8、如权利要求7所述的网络下载系统,其特征在于,所述代理服务器信息获取模块还包括:
重复判断子模块,用于判断所述获取子模块获取到的代理服务器信息是否与所述代理服务器列表中的代理服务器记录相同,若相同,则从获取到的代理服务器信息中排除所述相同的代理服务器信息,并通过所述存储子模块,将经排除所剩余的代理服务器信息保存于所述代理服务器列表。
9、如权利要求6所述的网络下载系统,其特征在于,所述代理服务器设置模块包括:
检测子模块,用于在检测到所述下载模块当前所用的网络连接IP地址访问受限时,向所述设置子模块发送连接设置请求;
设置子模块,用于根据所述连接设置请求,从所述代理服务器列表中获取标记为可用的代理服务器记录的IP地址,并将其设置为所述下载模块的网络连接IP地址。
10、如权利要求9所述的网络下载系统,其特征在于,所述代理服务器设置模块还包括:
更新子模块,用于在所述检测子模块检测到所述下载模块当前所用的代理服务器IP地址访问受限时,将所述代理服务器列表中与该IP地址对应的代理服务器记录标记为不可用。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2007101124092A CN101102313B (zh) | 2007-06-21 | 2007-06-21 | 自动更换代理服务器的网络下载系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2007101124092A CN101102313B (zh) | 2007-06-21 | 2007-06-21 | 自动更换代理服务器的网络下载系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101102313A true CN101102313A (zh) | 2008-01-09 |
CN101102313B CN101102313B (zh) | 2011-02-02 |
Family
ID=39036404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007101124092A Expired - Fee Related CN101102313B (zh) | 2007-06-21 | 2007-06-21 | 自动更换代理服务器的网络下载系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101102313B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101510874B (zh) * | 2009-03-20 | 2012-06-27 | 腾讯科技(深圳)有限公司 | 网络连接设置系统及方法、网络通讯工具及方法 |
CN103179155A (zh) * | 2011-12-22 | 2013-06-26 | 苏州威世博知识产权服务有限公司 | 一种自动获取代理的方法及系统 |
CN103607424A (zh) * | 2013-10-24 | 2014-02-26 | 北京奇虎科技有限公司 | 一种服务器连接方法及服务器系统 |
CN103973682A (zh) * | 2014-04-30 | 2014-08-06 | 北京奇虎科技有限公司 | 进行网页访问的方法及装置 |
CN104462570A (zh) * | 2014-12-26 | 2015-03-25 | 小米科技有限责任公司 | 网页内容获取方法及装置 |
CN105007303A (zh) * | 2015-06-05 | 2015-10-28 | 冠研(上海)企业管理咨询有限公司 | 物联网连接方法 |
CN105335511A (zh) * | 2015-10-30 | 2016-02-17 | 百度在线网络技术(北京)有限公司 | 网页的访问方法及装置 |
CN106254579A (zh) * | 2016-09-30 | 2016-12-21 | 携程计算机技术(上海)有限公司 | 一种动态ip代理池及其搭建及管理方法 |
CN107169006A (zh) * | 2017-03-31 | 2017-09-15 | 北京奇艺世纪科技有限公司 | 一种管理爬虫代理的方法及装置 |
CN108512897A (zh) * | 2018-02-08 | 2018-09-07 | 深圳市欧乐在线技术发展有限公司 | 一种网络连接恢复方法及装置 |
CN109246180A (zh) * | 2018-07-24 | 2019-01-18 | 孙满堂 | 信息查询方法、中转服务器及计算机可读介质 |
CN111131225A (zh) * | 2019-12-20 | 2020-05-08 | 珠海市魅族科技有限公司 | 基于代理服务器的网络连接方法及装置 |
CN113347218A (zh) * | 2020-02-18 | 2021-09-03 | 北京沃东天骏信息技术有限公司 | 模块下载方法和装置 |
-
2007
- 2007-06-21 CN CN2007101124092A patent/CN101102313B/zh not_active Expired - Fee Related
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101510874B (zh) * | 2009-03-20 | 2012-06-27 | 腾讯科技(深圳)有限公司 | 网络连接设置系统及方法、网络通讯工具及方法 |
CN103179155A (zh) * | 2011-12-22 | 2013-06-26 | 苏州威世博知识产权服务有限公司 | 一种自动获取代理的方法及系统 |
CN103607424B (zh) * | 2013-10-24 | 2017-04-19 | 北京世界星辉科技有限公司 | 一种服务器连接方法及服务器系统 |
CN103607424A (zh) * | 2013-10-24 | 2014-02-26 | 北京奇虎科技有限公司 | 一种服务器连接方法及服务器系统 |
CN103973682A (zh) * | 2014-04-30 | 2014-08-06 | 北京奇虎科技有限公司 | 进行网页访问的方法及装置 |
CN104462570A (zh) * | 2014-12-26 | 2015-03-25 | 小米科技有限责任公司 | 网页内容获取方法及装置 |
CN104462570B (zh) * | 2014-12-26 | 2019-03-15 | 小米科技有限责任公司 | 网页内容获取方法及装置 |
CN105007303A (zh) * | 2015-06-05 | 2015-10-28 | 冠研(上海)企业管理咨询有限公司 | 物联网连接方法 |
CN105007303B (zh) * | 2015-06-05 | 2019-08-20 | 冠研(上海)专利技术有限公司 | 物联网连接方法 |
CN105335511A (zh) * | 2015-10-30 | 2016-02-17 | 百度在线网络技术(北京)有限公司 | 网页的访问方法及装置 |
WO2017071189A1 (zh) * | 2015-10-30 | 2017-05-04 | 百度在线网络技术(北京)有限公司 | 网页的访问方法、装置、设备及非易失性计算机存储介质 |
CN106254579B (zh) * | 2016-09-30 | 2019-09-24 | 携程计算机技术(上海)有限公司 | 一种动态ip代理池及其搭建及管理方法 |
CN106254579A (zh) * | 2016-09-30 | 2016-12-21 | 携程计算机技术(上海)有限公司 | 一种动态ip代理池及其搭建及管理方法 |
CN107169006A (zh) * | 2017-03-31 | 2017-09-15 | 北京奇艺世纪科技有限公司 | 一种管理爬虫代理的方法及装置 |
CN108512897A (zh) * | 2018-02-08 | 2018-09-07 | 深圳市欧乐在线技术发展有限公司 | 一种网络连接恢复方法及装置 |
CN109246180A (zh) * | 2018-07-24 | 2019-01-18 | 孙满堂 | 信息查询方法、中转服务器及计算机可读介质 |
CN109246180B (zh) * | 2018-07-24 | 2021-05-21 | 深圳市魔数智擎人工智能有限公司 | 信息查询方法、中转服务器及计算机可读介质 |
CN111131225A (zh) * | 2019-12-20 | 2020-05-08 | 珠海市魅族科技有限公司 | 基于代理服务器的网络连接方法及装置 |
CN113347218A (zh) * | 2020-02-18 | 2021-09-03 | 北京沃东天骏信息技术有限公司 | 模块下载方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN101102313B (zh) | 2011-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101102313B (zh) | 自动更换代理服务器的网络下载系统及方法 | |
CN101502079B (zh) | 在移动网络终端上安装和配置软件应用程序的系统和方法 | |
CN101147145B (zh) | 基于嵌入式web的管理方法 | |
EP3018884B1 (en) | Mobile terminal cross-browser login method and device | |
CN102970284B (zh) | 用户信息处理方法和服务器 | |
CN103946841A (zh) | 用于动态服务集成的系统和方法 | |
CN1963811A (zh) | 用于生成唯一的有效关键字的方法和系统 | |
JP2003006074A (ja) | 反転プロキシメカニズム | |
KR20140014132A (ko) | 컨텐츠 제공자-특이 url 키워드 검색 제공을 위한 방법 및 시스템 | |
CN106060004A (zh) | 数据库访问方法及数据库代理节点 | |
CN100536472C (zh) | 一种网络资源访问控制的方法、模块和服务器 | |
JP2010273045A (ja) | サーバ装置 | |
CN106250454A (zh) | 一种页面脚本的加载方法及装置 | |
CN101060539B (zh) | 采用统一入口网站地址集成和推送多网站内容的方法及系统 | |
CN100430919C (zh) | 用于使用书签访问因特网的方法和装置以及书签产生方法 | |
CN101324881A (zh) | 文字输入支援方法、系统及程序、文字转换方法及程序、用户终端 | |
CN102801814A (zh) | 互联网访问方法、装置及系统 | |
CN1960371B (zh) | 一种访问Web应用程序文件的方法及系统 | |
CN104618388A (zh) | 快速注册登录方法及对应的重置服务器、信息服务器 | |
CN103347029A (zh) | 业务数据交互方法、终端、服务器和系统 | |
JP2002318808A (ja) | 個人情報登録支援システム | |
US9306884B2 (en) | Computer-based method and system for processing a file request in response to a message received from a user mobile device | |
CN107220260A (zh) | 一种页面显示的方法及装置 | |
EP2998885A1 (en) | Method and device for information search | |
CN101917418B (zh) | 通过无线应用协议访问云服务器的方法及wap服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110202 Termination date: 20160621 |
|
CF01 | Termination of patent right due to non-payment of annual fee |