JSON

Python 笔记七:Requests爬虫技巧

字号+ 作者:H5之家 来源:H5之家 2017-06-22 14:00 我要评论( )

Python 笔记七:Requests爬虫技巧 源码github地址在此,记得点星: https://github.com/brandonxiang/example-requests 这篇笔记的灵感来自Python爬虫:一些常用的爬虫技巧总结,我这篇笔记也算是一篇山寨笔记,文中会大量引用他人文章。原因很简单,因为该

Python 笔记七:Requests爬虫技巧

源码github地址在此,记得点星:
https://github.com/brandonxiang/example-requests

这篇笔记的灵感来自Python爬虫:一些常用的爬虫技巧总结,我这篇笔记也算是一篇山寨笔记,文中会大量引用他人文章。原因很简单,因为该文条理清晰,言简意赅。唯一一点我不太满意就是现在python的爬虫技巧应该专注于Requests和BeautifulSoup这样的第三方库。这两个库确实成为了python爬虫的标配,更符合python语法简洁的特点,替代了urllib和re等复杂的老式爬虫手段,可以说是,前所未有地实现了爬虫的快速开发模型。关于Requests的具体用法可以参考官网,自从有了Requests之后,就再也不需要Postman这样的接口调试器,也不需要curl了。当然,这是开玩笑的。

希望这篇文章也能给大家一个简单的认识,python就像一个瑞士军刀,而让爬虫这种本来繁琐的动作变得简单。

基本抓取网页 get方法 import requests url = 'http://www.baidu.com' response = requests.get(url) print response.content # 网站内容 print response.status_code # 状态码 print response.headers['content-type'] # header print response.encoding # 网页编码 post方法 import requests url = "http://abcde.com" form = {'name': 'abc', 'password': '1234'} response = requests.post(url, data=form) print response.text 使用代理IP

在开发爬虫过程中经常会遇到IP被封掉的情况,这时就需要用到代理IP

这个可以参考python的扩展包requests的高级用法

import requests url = "http://www.baidu.com" proxies = { "http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080", } response = requests.get(url, proxies=proxies) print response.content Cookies处理

cookies是某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)

你可以提前用Chrome Dev Tool去获取对应的cookie,将其输入到该参数当中。requests自带session。

import requests session = requests.Session() response = session.get('http://httpbin.org/cookies', cookies={'from-my': 'browser'}) print(response.text) 伪装成浏览器

某些网站反感爬虫的到访,于是对爬虫一律拒绝请求。所以用urllib2直接访问网站经常会出现HTTP Error 403: Forbidden的情况
对有些 header 要特别留意,Server 端会针对这些 header 做检查
1.User-Agent 有些 Server 或 Proxy 会检查该值,用来判断是否是浏览器发起的 Request
2.Content-Type 在使用 REST 接口时,Server 会检查该值,用来确定 HTTP Body 中的内容该怎样解析。

通过header让requests的程序去伪装浏览器,或者该网页的环境,可以有效避免服务器拒绝和跨域限制。

import requests url = "http://www.baidu.com" headers = { 'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6' } response = requests.get(url,headers = headers) print response.content 页面解析

页面解析的最传统方法--正则表达式,参考正则表达式入门 和正则表达式在线测试 。关于解析库,有lxml和BeautifulSoup,他们的教程有很多,前者还是涉及到正则表达式 。
对于我再说,我不是大牛,想个正则表达式都要半天。还是用Beautifulsoup纯python实现,效率低,但是开发效率高,让电脑慢慢来吧。

验证码的处理

对于复杂的验证码识别可能有点难度,但是,简单的图形识别还是十分容易的,有兴趣的童鞋,请参考。

gzip压缩

有没有遇到过某些网页,不论怎么转码都是一团乱码。哈哈,那说明你还不知道许多web服务具有发送压缩数据的能力,这可以将网络线路上传输的大量数据消减 60% 以上。这尤其适用于 XML web 服务,因为 XML 数据 的压缩率可以很高。

其实网页压缩有两种,一种是deflate,另一种是gzip。deflate已经在淘汰的边缘,但是国内一些老网站还在使用。具体请参考我的另一篇文章--6入门爬虫坑--网页数据压缩(python deflate gzip)。

总结

该笔记描述那么多方面,好像只是讲了requests模块的参数而已。这也说明了它的强大,但是前提是你必须懂对应的原理。参数如下:

参考:
Python爬虫学习系列教程
设计Pythonic API

转载,请表明出处。总目录Awesome GIS


微信公众号

 

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 有关Python解析JSON的内容详解

    有关Python解析JSON的内容详解

    2017-06-21 10:01

  • python调用 bing api search接口 技术

    python调用 bing api search接口 技术

    2017-06-06 09:34

  • 使用JSON的Android身份验证

    使用JSON的Android身份验证

    2017-06-06 09:32

  • 【JAVAWEB学习笔记】22

    【JAVAWEB学习笔记】22

    2017-06-02 17:04

网友点评
a