我们知道，一些网站会有相应的反爬虫措施，比如检测某些IP的访问次数或者访问频率，有些反人类的访问速度就会受到限制甚至封禁，所以在进行爬虫工作时也要讲究策略，比如使用代理IP、调整访问频率、设置UA等等，让我们来看看如何简单的使用代理IP。
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import requests
import random
if __name__ == "__main__":
#不同浏览器的UA
header_list = [
# 遨游
{"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},
# 火狐
{"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},
# 谷歌
{
"user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}
]
#不同的代理IP(该代理ip可能已经失效，请自行去开心代理网站上购买开通)
proxy_list = [
{"http": "112.115.57.20:33128"},
{‘http‘: ‘121.41.171.223:32128‘}
]
#随机获取UA和代理IP
header = random.choice(header_list)
proxy = random.choice(proxy_list)
url = ‘http://www.baidu.com/s?ie=UTF-8&wd=ip‘
#参数3：设置代理
response = requests.get(url=url,headers=header,proxies=proxy)
response.encoding = ‘utf-8‘
with open(‘daili.html‘, ‘wb‘) as fp:
fp.write(response.content)
#切换成原来的IP
requests.get(url, proxies={"http": ""})
相关文章内容简介
1 不同的代理IP有什么区别？
不同的代理IP有什么区别？使用代理IP时，现在有很多代理IP商家，很多用户也看不出有什么不同，也不知道该怎么选择。那么，代理IP有什么不同呢？ 首先代理IP有免费和收费的，免费就是不需要花钱，在网络上可以直接找到，但可用率很低，挑选可用IP会很麻烦，只适合初级学者，不适合用于工作。收费就是由商家提供的代理IP软件，需要花钱，但操作简单，换IP也方便。如果不小心选择了质量差的代理，访问时候对方可能会识别出你使用了代理IP，依旧会查出真实IP，导致被封。 所以如果是专业人员工作使用代理IP，建议选择收费的代理IP，这样工作效率高，还不会有被封的风险。万变ip代理提供的IP均为高匿名IP，有不同套餐，可以按照自己的项目来选择，价格合理。 找到合适的代理IP要根据自己的实际需求来定，最简单的方法就是对IP进行验证，可以验证代理IP是否有效。还可以对代理IP提供的IP匿名程度来进行检测，一般都需要用高匿名代理效果是最好的。还可以验证代理IP是否可以访问... [阅读全文]
2 代理ip怎么选择呢？
代理ip怎么选择呢？代理IP很多人都不陌生，特别是推广人员，可以给我们的工作带来很大的帮助。随着需求的增大，IP代理软件特别多，所以在挑选的时候让很多用户不知该怎么办。那么，代理IP哪家好呢？ 万变ip代理IP是非常实用的，是自己搭建的服务器，IP可用率非常高，可达到97%，IP质量无需担心，在使用的时候绝对不会出现冲突的情况。而且操作的过程很简单，只需一键就可快速更换IP，还有专业技术人员在线指导，无论是否用过代理IP软件，都可以快速掌握。 选择好的代理IP软件用户要多参考几家软件，有的软件并不是特别好用，所以用户不要急于选择，可以多试用几家。 现在在网络中随便搜索就可以找到很多代理IP软件，因为软件的数量剧增，在选择的时候就尤为重要，如果选择了不好的代理，不仅不会给我们的工作带来帮助，还会很麻烦。下面就为大家介绍一下选择代理IP的三要素。 1.IP资源的数量。如果可以提供的IP数量很少，在切换IP的时候就很有可能... [阅读全文]
推荐阅读
09
2021-01
稳定的代理ip应该怎样选择？
代理软件在日常的生活中是非常普遍，因为某些工作任务的原因，有的工作有可能会经常使用它。但如今伴随着技术的发展，代理软件的技术要求不断降低，因此 市面上便涌出来大批量的代理IP
19
2021-02
高质量代理ip怎样实现ip的切换？
在我们现在的日常生活中离不开网络，在网络生活我我们会使用到代理ip。在选择代理ip的时候我们都是以什么样的方式选择，网络上有很多的代理ip更改的教程，操作都是比较简单的，能够非常
05
2021-01
http代理是互联网链路层网关提供的重要安全功能
爬虫为什么要选择 代理ip ？在这个大数据时代，随着网络用户的增加，我们越来越需要代理IP，网络上一夜之间涌现出很多专门提供代理IP服务的商家，可以满足各种需求的用户。
17
2020-03
代理ip协议分类有几种？
相信一直关注万变代理的用户，就算没自己使用过动态ip代理，也对切换ip有一定的基础认识。但是，关于代理ip协议分类，大家又掌握了多少呢?
14
2020-03
代理IP支持哪些协议，有什么区别？
给大家说到 代理IP 很多人应该是很熟悉的。其实在进行代理IP的时候也还是有一些协议的，但一定要知道支持的是哪些协议。所以在搞清楚协议，下面小编帮大家总结一下相关的知识。希望可以
29
2020-02
如何自身构建IP代理池?
技术性牛的程序猿会自身构建 IP代理 池，但是针对刚新手入门的新手或是上班时间很紧凑型的人而言，花销气力去构建一个IP代理池，一些因小失大了。因此，目前市面上就出現了许多 改ip软件
热门文章
因为专业！ 所以简单！ 产品至上，价格实惠 是我们服务追求的宗旨
免费试用
