怎么判断爬虫服务器的IP被网站封了

玩了一段时间爬虫感觉非常好玩，只要程序运行，人家网站的信息自动就会跑到自己的数据库。发明爬虫的人非常牛啊。

最近玩爬虫群里经常有人问自己爬不到信息了，是不是被网站封了IP了。其实这个问题很是简单，直接用浏览器用这个IP访问一下网站就能知道．能打开网页说明没有被封。

当然，如果你的服务器操作系统是windows的直接远程登录桌面，打开浏览器访问一下对方的网站就可以了。但是很多服务器都用的是LINUX服务器，而且多数LINUX服务器也不会安装图型界面。那该怎么测试IP是不是被封了呢？

其实很简单，直接把服务器当成代理，用本地的浏览器通过服务器的IP访问网站就可以了。有人会说在服务器上搭建一个代理服务是不是非常麻烦！！其实吧， 大家常用的putty软件就有代理功能。直接通过putty设置一个通道让浏览器通过通道用服务器访问网站，非常的方便，而且也不用安装任务服务和软件。 那应该怎么设置呢？

设置putty

打开putty，找到左边的SSH，选择Tunnels，然后在Source port上填入你想要的端口号，然后Add一下，下面选择Dynamic即可。现在你机器的127.0.0.1:端口号（例 如：127.0.0.1:9999，当然使用localhost替换127.0.0.1也是可以的）就是代理服务器了。设置好后需要用putty登录到服 务器，并保持登录状态。然后设置一下浏览器的代理服务器就可以了。

设置FireFox

工具–>选项–>高级–>网络，在SOCKS主机填入本机的IP以及刚才设置的代理端口号即可。

这样设置之后，浏览器打开网站显示的就是服务器的IP了,直接用你的浏览器访问网站，如果能不能打开对方的网站并且不用代理就能打开说明你的IP被网站 封了。如果你的服务器在国外也可以用来访问国外的网站不会被屏蔽。如果想访问facebook这样的大网站还需要设置一下dns。使浏览器解析网站的时候 用服务器的dns，在Firefox的地址栏输入 about:config ，找到network.proxy.socks_remote_dns，双击改成true即可。该选项是使用远程代理服务器来解析DNS，避免DNS欺骗。

转载自：http://www.pyspider.cn/jiaocheng/ban-ip-10.html