爬虫

一、实现数据爬取的流程   指定url 基于requests模块发起请求 获取响应对象中的数据 数据解析 进行持久化存储 　　在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整个页面的数据。  二、常用正则表达式回顾 　　单字符： . : 除换行以外所有字符 [] ：[aoe]…

一、图片懒加载技术 图片懒加载概念： 图片懒加载是一种网页优化技术。图片作为一种网络资源，在被请求时也与普通静态资源一样，将占用网络资源，而一次性将整个页面的所有图片加载完，将大大增加页面的首屏加载时间。为了解决这种问题，通过前后端配合，使图片仅在浏览器当前视窗内出现时才加载该图片，达到减少首屏图片请求数的技术就被称为“图片懒加载”。 网站一般如何实现图片懒…

一、HTTP协议概念 　　HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。 二、HTTP工作原理 　　HTTP协议工作于客户端-服务端架构为上。浏览器作为HTTP客户端通过URL向HTTP服务端即WEB服务器发送所有…

基于multiprocessing.dummy线程池的数据爬取 一、项目实例(测试异步与同步效率) 　　flask创建服务器： from flask import Flask from time import sleep app = Flask(__name__) @app.route(‘/bobo’) def index1(): sleep(2) retu…

一、什么是爬虫    爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。 二、哪些语言可以实现爬虫 1.php：可以实现爬虫。php被号称是全世界最优美的语言（当然是其自己号称的，就是王婆卖瓜的意思），但是php在实现爬虫中支持多线程和多进程方面做的不好。 2.java：可以实现爬虫。java可以非常好的处理和实现爬虫，是唯一可以与pyt…

一、什么是requests模块？ 　　requests模块是python中原生的基于网络请求的模块，其主要作用是用来模拟浏览器发起请求。功能强大，用法简洁高效。在爬虫领域中占据着半壁江山的地位。 二、为什么要使用requests模块 因为在使用urllib模块的时候，会有诸多不便之处，总结如下： 手动处理url编码 手动处理post请求参数 处理cookie…

一.下载中间件 下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。 – 作用： （1）引擎将请求传递给下载器过程中， 下载中间件可以对请求进行一系列处理。比如设置请求的 User-Agent，设置代理等 （2）在下载器完成将Response传递给引擎中，下载中间件可以对响应进行一系列处理。比如进行gzip…

一.Scrapy的日志等级 　　- 在使用scrapy crawl spiderFileName运行程序时，在终端里打印输出的就是scrapy的日志信息。 　　- 日志信息的种类： 　　　　　　　　ERROR ： 一般错误 　　　　　　　　WARNING : 警告 　　　　　　　　INFO : 一般的信息 　　　　　　　　DEBUG ： 调试信息 　　　　　…

反爬虫策略及破解方法爬虫和反爬的对抗一直在进行着…为了帮助更好的进行爬虫行为以及反爬，今天就来介绍一下网页开发者常用的反爬手段。 0.0 robots.txt反扒 　　爬虫协议：防君子不防小人 1. IP：网页的运维人员通过分析日志发现最近某一个IP访问量特别特别大，某一段时间内访问了无数次的网页，则运维人员判断此种访问行为并非正常人的行为，　　　　　　于是…

一.什么是Scrapy？ 　　Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。 二.安装 　　Linux： pip3 install scrap…