爬虫

钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。 之前我们使用requests库爬取某个站点的时候，每发出一个请求，程序必须等待网站返回响应才能接着运行，而在整个爬虫过程中，整个爬虫程序是一直在等待的，实际上没有做任何事情。 像这种占用磁盘/内存IO、网络IO的任务，大部分时间是CPU在等待的操作，就叫IO密集型任务。对于…

鉴于有些小伙伴在寻找博客园迁移到个人博客的方案，本人针对博客园实现了一个自动备份脚本，可以快速将博客园中自己的文章备份成Markdown格式的独立文件，备份后的md文件可以直接放入到hexo博客中，快速生成自己的站点，而不需要自己逐篇文章迁移，提高了备份文章的效率。 鉴于有些小伙伴在寻找博客园迁移到个人博客的方案，本人针对博客园实现了一个自动备份脚本，可以快…

本文小编为大家详细介绍“Python爬虫之requests如何使用”，内容详细，步骤清晰，细节处理妥当，希望这篇“Python爬虫之requests如何使用”文章能帮助大家解决疑惑，下面跟着小编的思路慢慢深入，一起来学习新知识吧。 requests库简介 requests 库是一个常用的用于 http 请求的模块，它使用 python 语言编写，可以方便的对…

钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。 上一章我们讲解针对结构化的html、xml数据，使用Xpath实现网页内容爬取。本章我们再来聊另一个高效的神器：Beautiful Soup4。相比于传统正则表达方式去解析网页源代码，这个就简单得多，实践是检验真理的唯一标准，话不多说直接上号开搞验证。 Beautiful …

爬虫系列目录 目录 Python逆向爬虫之scrapy框架,非常详细 一、爬虫入门 1.1 定义需求 1.2 需求分析 1.2.1 下载某个页面上所有的图片 1.2.2 分页 1.2.3 进行下载图片 二、Scrapy 入门 2.1 安装 Scrapy 2.2 Scrapy 创建项目 2.3 scrapy 命令 2.4 生成文件详情 2.5 第一个 scra…

系列目录 Python逆向爬虫之pyquery pyquery是一个类似jquery的python库，它实现能够在xml文档中进行jQuery查询，pyquery使用lxml解析器进行快速在xml和html文档上操作，它提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器，使用非常方便。 一、pyquery安装 pip install pyqu…

非常全的一份Python爬虫的Xpath博文 Xpath 是 python 爬虫过程中非常重要的一个用来定位的一种语法。 一、开始使用 首先我们需要得到一个 HTML 源代码，用来模拟爬取网页中的源代码。 首先我们需要下载一下 lxml 包。 pip install lxml 准备一个HTML源代码。 from lxml import etree doc=’…

Python逆向爬虫之初体验 网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 说起网络爬虫，人们常常会用这样一个比喻：如果把互联网比喻成一张网，那么网络爬虫就可以认为是一个在网上爬来爬去的小虫子，它通过网页的链接地址来寻找网页，通过特定的搜索算法来确定路线，通常从网站的某一个页面开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这…

检查网页源代码 首先让我们来检查豆瓣top250的源代码，一切网页爬虫都需要从这里开始。F12打开开发者模式，在元素（element）页面通过Ctrl+F直接搜索你想要爬取的内容，然后就可以开始编写正则表达式了。 如下是我们将要爬取内容的html局部区域： <div class=”item”> <div class=”pic”> &l…

导入包 # json包 import json #正则表达式包 import re import requests from requests import RequestException 定义爬取html函数 #函数：获取一页html def get_one_page(url): try: headers = { ‘User-Agent’: ‘Mozil…