端午节假期过了,之前一直在做出行准备,后面旅游完又休息了一下,最近才恢复状态。

端午假期最后一天收到一个快递,回去打开,发现是微信抽奖中的一本书,黄永祥的《实战Python网络爬虫》。

去各大网站搜了一下这个人,没有名气,去网购平台看了他别的书的书评,整体来说,书都是拼凑的。。。

但是既然书到手了,不妨翻开看看,刚好最近没有什么头绪,又偏头痛。花了几个半天整体翻了一下这本书,感觉是有点浅显的。

我之前用java写过爬虫,感觉比较难的还是反爬虫这块。这本书,我先看了第一个实战项目,51job的,运行了代码之后发现,哦,好吧,这个网站,貌似没有反爬虫机制?

其实具体的爬取内容的方法各个网站也是差不多的。主要还是反爬虫这块。但是书上内容不多,只有一个章节。

个人觉得,对于爬虫新手,看一看每章的小结,还是很能增长一些见识的。更深入的技术,大概这本书是不能提供的。

后续有时间,我大概会摘录一些小结放到这里来吧~虽然没什么人看这里。

网络爬虫

定义:自动抓取网络信息

分类

  • 通用网络爬虫/全网爬虫:主要为门户站点搜索引擎大型网站服务采集数据
  • 聚焦网络爬虫/主题网络爬虫:选择性地爬取主题相关的页面
  • 增量式网络爬虫:对已下载网页采取增量式更新/只爬取新产生或已经发生变化的网页
  • 深层网络爬虫:内容不能通过静态URL获取/隐藏在搜索表单后/只有用户提交一些关键词才能获得的页面

网站分析

  1. 找出数据来源:Doc、XHR、JS
  2. 找出数据所在请求,分析请求链接、请求方式、请求参数
  3. 确定参数来源:固定可选值、通过别的请求生成、经过JS处理、特殊值

抓包工具:Fiddler

爬虫库:

  • urllib
  • requests:语法简单,兼容python2和3
  • requests_html:提供了数据清洗、ajax数据动态渲染

爬虫缓存:requests_cache

requests_cache.install_cache(backend='memory')

存储机制

  • memory:每次程序运行都会将缓存以字典形式保存在内存中
  • sqlite:默认存储机制
  • redis:通过redis模块实现数据库的读写
  • mongo:通过pymongo模块实现数据库的读写

网页操控与数据爬取Selenium

手机App数据爬取Appium

验证码识别

  • 人工识别
  • ocr
  • 调用第三方平台API:在线人员、人工智能

数据清洗

  1. 字符串操作:截取、替换、查找、分割
  2. 正则表达式
  3. 第三方模块/库BeautifulSoup

分布式爬虫

并发库concurrent.futures:ThreadPoolExecutor和ProcessPoolExecutor

反爬虫技术

  1. 基于用户请求的Headers→固定属性+可变属性
  2. 基于用户操作网站的行为→代理IP
  3. 基于网站目录数据加载→模拟ajax请求
  4. 基于数据加密
  5. 基于验证码识别
  6. 基于请求参数
  7. 基于cookies→构建cookies池、代理IP、动态构建cookies、利用浏览器获取cookies