爬虫
-
网络爬虫的提取爬虫实例
0x00 中国最好大学排名的爬取 我们通过上海交通大学设计研发的最好大学网来进行数据的抓取 这是本次爬取的url：软科中国最好大学排名 功能描述： 输入目标url 输出大学排名信息（排名、学校、总分） 技术路线：requests-bs4 定向爬取：只对该url进行爬取 分析： 查看网页源代码，为了快速定位，可以直接在源代码页面搜索…
-
scrapy爬虫框架
0x00 scrapy爬虫框架 scrapy库的安装： 可以直接使用pip install scrapy来安装，如果IDE是pycharm的话参考之前requests库的安装 scrapy爬虫框架结构： scrapy采用5+2的结构，五个主要模块加上两个中间键 详细介绍一下各个组件： 引擎(Engine)用来处理整个系统的数据流, 触发事务(框架核心) …
-
爬虫-数据解析-bs4
1.数据解析 解析: 根据指定的规则对数据进行提取 作用: 实现聚焦爬虫 数据解析方式: – 正则表达式 – bs4 – xpath 数据解析的通用原理: 数据解析需要作用在页面源码中(一组html标签组成的) html:的核心作用是展示数据 通用原理: 标签定位 获取文本或者属性 正则表达式实现数据解析 # 需求:爬取糗事百科中糗图数据 import re…
-
爬虫-数据解析-xpath
xpath 解析 模块安装 : pip install lxml xpath的解析原理 实例化一个etree类型的对象,且将页面源码数据加载到该对象中 需要调用该对象的xpath方法结合着不同形式的xpath表达式进行标签定位和数据提取 etree对象的实例化 etree.parse(fileNane) 加载本地 etree.HTML(page_text) …
-
黑板客爬虫闯关第一关、第二关
上来先贴地址，刚入门的可以来van啊： 0x00 第一关 打开网址，看到如下页面： 先抱着试试看的心态在网址后面加上数字看看效果： 怕不是个循环，获取网页中的数字不断加到url中，验证猜想，继续试一试： ？？？？？ 那就把原来的数字换掉： 妙啊： 这里基本确定思路，获取网页内的数字，然后在将数字加入url进行循环提交 查看源码，确定获取的信息<…
-
网络爬虫的正则表达式
0x00 re正则表达式 正则表达式： 通用字符串表达的框架 简洁表达一组字符串的表达式 针对字符串表达“简洁”和“特征”思想的工具 正则表达式在文本处理中的作用： 表达文本类型 同时查找和替换一组字符串 匹配字符串的全部或部分 正则表达式常用操作符： 正则表达式语法实例： 经典的正则表达式实例： 实例：匹配IP地址的正则…
-
二十四 Python分布式爬虫打造搜索引擎Scrapy精讲—爬虫和反爬的对抗过程以及策略—scrapy架构源码分析图
1、基本概念 2、反爬虫的目的 3、爬虫和反爬的对抗过程以及策略 scrapy架构源码分析图
-
三十 Python分布式爬虫打造搜索引擎Scrapy精讲—将selenium操作谷歌浏览器集成到scrapy中
1、爬虫文件 dispatcher.connect()信号分发器，第一个参数信号触发函数，第二个参数是触发信号，signals.spider_closed是爬虫结束信号 # -*- coding: utf-8 -*- import scrapy from scrapy.http import Request,FormRequest from selenium…
-
二十八 Python分布式爬虫打造搜索引擎Scrapy精讲—cookie禁用、自动限速、自定义spider的settings，对抗反爬机制
cookie禁用 就是在Scrapy的配置文件settings.py里禁用掉cookie禁用，可以防止被通过cookie禁用识别到是爬虫，注意，只适用于不需要登录的网页，cookie禁用后是无法登录的 settings.py里禁用掉cookie禁用 COOKIES_ENABLED = False 禁用cookie # Disable cookies (ena…
-
二十七 Python分布式爬虫打造搜索引擎Scrapy精讲—通过自定义中间件全局随机更换代理IP
设置代理ip只需要，自定义一个中间件，重写process_request方法， request.meta[‘proxy’] = “http://185.82.203.146:1080” 设置代理IP 中间件，注意将中间件注册到配置文件里去 from adc.daili_ip.sh_yong_ip.sh_yong_ip import sui_ji_hq_i…
