动态秒换IP服务器，让爬虫运行更加顺利！

一般来说，爬稍微靠谱的平台网站都是被反爬虫阻碍的。反爬虫的主要方法有以下几种:

根据UA歧视。这是最低的分辨率。一般反网络爬虫不好用，这是唯一的解决办法。因为反网络爬虫很容易，任何UA都可以马上处理。

根据单个IP，经常浏览和区分。这种区分很简单，对抗网络爬虫难度更大，是反网络爬虫的绝佳方案。选择多IP捕获。

根据Cookie区分，比如根据会员系统账号的密码登录，短时间内区分单个账号的抓取频率。这个反网络爬虫也很费力。需要多帐户捕获。

动态网页加载。这磨练了前端开发的基本功。如果前端开发写的好，各种JS判别，各种逻辑，像百度搜索，淘宝，都是没有办法通过贴吧登录的。这是个好办法，但是对于大神我无能为力。反网络爬虫大多使用3D渲染的电脑浏览器进行抓取，效率不高。

选择短信验证码。如果在这里登录的时候有短信验证码，如果不是网络爬虫的话，不封IP，而是用短信验证码进行认证，比如Lianjia.com。短信验证码是一个性价比很高的反网络爬虫方案。反网络爬虫一般连接OCR验证码识别服务平台或人工服务编码平台，或使用TesseractOCR进行区分，或使用神经网络训练区分短信验证码。

今天就来说说重点，如何看待第二条中的反网络爬虫，如何按照多IP抓取。根据多IP网络爬虫，它可以分为以下几类:

根据ADSL拨号改变IP网络服务器。每次拨号都会有一个新的IP，对于处理单IP问题很有好处。

如果是带无线路由的局域网，第一种方法效果不好。到时候我们可以模拟落地路由器，控制路由器重新拨号，换IP。这其实是最合适的方法，在外面忙的时候要先装路由器。

代理IP，使用在互联网上购买或抓取的完全免费的代理IP，保持多IP网络爬虫。

分布式网络爬虫。另外选择几个网络服务器，几个IP，几个从爬虫运行，主机承担生产调度。效率高，属于大中型分布式系统捕获，一般用redis分布式系统捕获，不用表。

最近我掌握了一种新的代理互联网，用于数据加密。Tor的秘密名是Internet，也可以用来为IP更改秘密名。这些都没有深入分析过，也没有展示出来。

一般我在windows服务平台拨入ADSL，其他服务平台暂时不用。Windows服务平台拨号，我一般用python代码进行:

如果是局域网，用无线路由。当立即启动windows的rasdial命令无法拨号时，可以模拟登录路由器，控制路由器重新拨号，更改IP。这其实是最合适的方法，需要先安装路由器。下面举一个落地小米路由器的例子:

这样就保持了用无线路由交换IP的目的。这种方法的缺点很明显。也就是说，它不像第一种方法那样通用。大部分无线路由都要编一套代码，属于自定义代码。

IP代理是多IP网络爬虫最常见的方式。将代理网络ip添加到乞求报头可以保持代理IP爬行。缺点是捕获率与代理IP率密切相关。而且好的IP成本更高，完全免费IP的费率也不高。

此外，附上请求捕获带上的代理IP和selenium捕获带上的代理IP的代码。

请求:

硒: