爬虫

– 基于如下5点展开requests模块的学习 什么是requests模块 requests模块是python中原生的基于网络请求的模块，其主要作用是用来模拟浏览器发起请求。功能强大，用法简洁高效。在爬虫领域中占据着半壁江山的地位。 为什么要使用requests模块 因为在使用urllib模块的时候，会有诸多不便之处，总结如下： 手动处理url编码 手动处理…

一.什么是图片懒加载? 案例分析:抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # -*- coding:utf-8 -*- import requests from lxml import etree if __name__ == “__main__”: url = ‘http://sc.c…

一.什么是scrapy? scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍,所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,持久化等)的具有很强通用性的项目模板,对于框架学习,重点是要学习其框架的特性,各个功能的用法即可. 二.安装 　　Linux： pip3 install scrapy 　　Wi…

QueryList是一个基于phpQuery的PHP通用列表采集类,得益于phpQuery，让使用QueryList几乎没有任何学习成本，只要会CSS3选择器就可以轻松使用QueryList了，它让PHP做采集像jQuery选择元素一样简单。 官方地址：https://querylist.cc/ ezSQL PHP 是用php开发的一套轻量级的数据库类，这个…

基本的读取 import urllib2http=urllib2.urlopen(“http://xxxxx”).read().decode(‘utf-8’)使用代理import urllib2proxy=urllib2.ProxyHandler({‘http’:’http://xxxxxx:xxxx’})opener=urllib2.build_opene…

说到协程，协程不是进程或线程，其执行过程更类似于子例程，或者说不带返回值的函数调用。 协程在执行过程中遇到阻塞时转而执行别的子程序，阻塞结束后再返回来接着执行。 在gevent里面，上下文切换是通过yielding来完成的   代码中用到requests,xpath 如果有不懂xpath的小伙伴 –> 传送门 requests不理解的小伙伴 –&g…

0x00 中国最好大学排名的爬取   我们通过上海交通大学设计研发的最好大学网来进行数据的抓取 这是本次爬取的url：软科中国最好大学排名   功能描述： 　　输入目标url 　　输出大学排名信息（排名、学校、总分） 　　技术路线：requests-bs4 　　定向爬取：只对该url进行爬取 分析： 　　查看网页源代码，为了快速定位，可以直接在源代码页面搜索…

0x00 scrapy爬虫框架 scrapy库的安装： 可以直接使用pip install scrapy来安装，如果IDE是pycharm的话参考之前requests库的安装 scrapy爬虫框架结构： scrapy采用5+2的结构，五个主要模块加上两个中间键   详细介绍一下各个组件： 引擎(Engine)用来处理整个系统的数据流, 触发事务(框架核心) …

1.数据解析 解析: 根据指定的规则对数据进行提取 作用: 实现聚焦爬虫 数据解析方式: – 正则表达式 – bs4 – xpath 数据解析的通用原理: 数据解析需要作用在页面源码中(一组html标签组成的) html:的核心作用是展示数据 通用原理: 标签定位 获取文本或者属性 正则表达式实现数据解析 # 需求:爬取糗事百科中糗图数据 import re…

xpath 解析 模块安装 : pip install lxml xpath的解析原理 实例化一个etree类型的对象,且将页面源码数据加载到该对象中 需要调用该对象的xpath方法结合着不同形式的xpath表达式进行标签定位和数据提取 etree对象的实例化 etree.parse(fileNane) 加载本地 etree.HTML(page_text) …