python3爬虫如何在requests中设置请求头Headers-万变ip

您的位置：首页 >文章内容

python3爬虫如何在requests中设置请求头Headers

来源：互联网作者：admin 时间：2020-03-06 11:27:06

　　在前两篇文章中，我们了解到了Headers在爬虫策略中扮演的角色，也了解到了一些关于headers的参数的含义，今天我们来看看如果如何在requests中设置请求头Headers，伪装成浏览器，顺利的完成爬虫任务。

　　以Python3为例，这个跟Python2还是有一些细微的差别的，我们一起来看看吧。

　　一、先引入request，然后复制网址给url，然后用一个字典来保存header，这个header怎么来的？看第2步。

python3爬虫如何在requests中设置请求头Headers

　　二、打开任意浏览器某一页面（要联网），按f12,然后点network，之后再按f5，然后就会看到“name”这里，我们点击name里面的任意文件即可。

　　三、之后右边有一个headers,点击headers找到request headers，这个就是浏览器的请求报头了。

　　四、然后复制其中的user-agent，其他的cookie还有Accept可以要也可以不要，主要是伪装成浏览器，所以我就用了user-agent。

　　五、接着再用Request方法把url和headers组合在一起就可以构造一个比较简单的请求了。Request有三个参数（url,data,headers）,如果有使用data就是post请求了，没有就是get请求。这里我没有data，所以我就指定headers=header，不然header就会被当成data了。

　　六、请求对象rq就构造好了，然后用urlopen发送这个请求对象就可以了。这就是简单的请求头设置了。

　　以上就是python3爬虫如何在requests中设置请求头Headers的方法，希望对新手朋友们有所帮助。