爬虫
-
python | 爬虫笔记（七）- 动态渲染页面抓取Selenium
JavaScript 动态渲染的页面不止 Ajax 这一种 另外有的ajax渲染接口含有很多加密参数，难以直接找出其规律 通过模拟浏览器运行的方式来实现，Selenium、Splash、PyV8、Ghost 等 7.1 Selenium的使用 自动化测试工具，支持多种浏览器。爬虫中主要用来解决js渲染问题 用 Selenium 来驱动浏览器加载网页的话，可以…
-
python | 爬虫笔记（六）- Ajax数据爬取
request得到和浏览器数据不同 数据加载是异步加载方式，原始页面不包含数据，加载完后会会再向服务器请求某个接口获取数据，然后数据再被处理才呈现到网页上，这其实就是发送了一个 Ajax 请求。这样Web 开发上可以做到前后端分离，而且降低服务器直接渲染页面带来的压力。 因此遇到这种情况，用requests模拟ajax请求 6.1 Ajax 1- 介绍 A…
-
34.scrapy解决爬虫翻页问题
这里主要解决的问题：1.翻页需要找到页面中加载的两个参数。 ‘__VIEWSTATE’: ‘{}’.format(response.meta[‘data’][‘__VIEWSTATE’]), ‘__EVENTVALIDATION’: ‘{}’.format(response.meta[‘data’][‘__EVENTVALIDATION’]),还有一点需要注…
-
python小实例一：简单爬虫
本文所谓的爬虫就是通过本地远程访问url，然后将url的读成源代码形式，然后对源代码进行解析，获取自己需要的数据，相当于简单数据挖掘。本文实现的是将一个网页的图片爬出保存到本地的过程，例子很简单，用的是python 3.5.2版本，以前的版本可能导入的包的名字不一样，调用的库函数方式有些差别。代码如下： #coding =utf-8 import urlli…
-
想开发网页爬虫，发现被反爬了？想对 App 抓包，发现数据被加密了？不要担心，这里可以为你解决。
全面超越Appium，使用Airtest超快速开发App爬虫 想开发网页爬虫，发现被反爬了？想对 App 抓包，发现数据被加密了？不要担心，使用 Airtest 开发 App 爬虫，只要人眼能看到，你就能抓到，最快只需要2分钟，兼容 Unity3D、Cocos2dx-*、Android 原生 App、iOS App、Windows Mobile……。 Air…
-
完整爬虫步骤（进阶）
import randomimport requestsfrom fake_useragent import UserAgentfrom retrying import retryimport hashlib #信息摘要 md5import queue #队列import re #正则表达式from urllib import robotparser #解析…
-
Python爬虫——request实例：爬取网易云音乐华语男歌手top10歌曲
requests是python的一个HTTP客户端库，跟urllib，urllib2类似，但比那两个要简洁的多，至于request库的用法， 推荐一篇不错的博文：https://cuiqingcai.com/2556.html 话不多说，先说准备工作： 1，下载需要的库：request，BeautifulSoup( 解析html和xml字符串),xlwt(将…
-
python爬虫同时输出两个列表（zip函数）
简介：在做爬虫时，xpath返回的是列表格式，我们又需要将列表中的元素一一对应并存放至字典中，这是就可以用zip函数。 zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。如果各个迭代器的元素个数不一致，则返回列表长度与最短的对象相同，利用 * 号操作符，可以将元组解压为列表。 eg：从电影…
-
python爬虫学习(2) —— 爬一下ZOL壁纸
我喜欢去ZOL找一些动漫壁纸当作桌面，而一张一张保存显然是太慢了。那怎么办呢，我们尝试使用简单的爬虫来解决这个问题。 0. 本爬虫目标 抓取给定分类「或子分类」网址的内容 分析并得到每个分类下的所有图片专辑 下载每一个专辑中的图片「每一个专辑对应一个文件夹」 1. 必要的分析 我们打开浏览器，输入http://desk.zol.com.cn/，跳转到ZOL壁…
-
python爬虫学习(4) —— 手刃「URP教务系统」
0. 本爬虫目标 模拟登陆URP教务系统 查询 本学期/历年 成绩 计算历年成绩的绩点 下面是一点废「私」话「货」：一般情况，查询成绩大家会通过如下方式： 登陆信息门户 -> 转到教学空间 -> 选择教务管理 -> 选择综合查询 最终可以看到你的成绩吐槽一下，查询成绩必须使用IE内核的浏览器，在IE11中还需要设置兼容性，非IE内核的浏览器…
