爬虫

前言 废话不多说，直接干，再来猿人学19题     分析   看了下，没有加密参数：   然后拿着接口直接请求：    有结果的，不会吧，这么简单？没有加密参数？这次这么草率？   用代码访问，唉，卧槽，就是他妈的不行，果然有猫腻      换requests:    确实不行，   用postman看看，可以的     这他妈就很秀啊，上一次这种感觉还是h…

requests from requests.adapters import HTTPAdapter from requests.packages.urllib3.util.ssl_ import create_urllib3_context import requests import random ORIGIN_CIPHERS = (‘ECDH+AESG…

前言 本篇博文的主题就是处理字体反爬的，其实这种网上已经很多了，那为什么我还要写呢？因为无聊啊，最近是真没啥事，并且我看了下，还是有点难度的，然后这个字体反爬系列会出两到三篇博文，针对市面上主流的字体反爬，一一讲清楚   不多bb，先看目标站   aHR0cDo{防查找，删除我，包括花括号}vL3d3dy5kaWFucGluZy5jb20vbW{防查找，删除…

前言 好久没有写猿人学的分析了，今天来分析一波   打开网址：   同样的，也很轻易的拿到接口，     然后这个接口里的请求参数又是迷人的m，m就是我们的目标了   分析   老规矩，搜索：       搜一堆出来，感觉都不太靠谱   那咋办？先看特征，看这个长度是多少的，卧槽，这个长度有点少见了       点调用栈看看：    看到这个就很可疑了   …

前言 继续干17题，就是个http2.0协议，有关这个协议的，我之前就出过相关的文章：python爬虫 – 爬虫之针对http2.0的某网站爬取 代码 所以，就不多比比了，直接上代码：   import httpx headers = { “authority”: “match.yuanrenxue.com”, ‘cookie’: ‘sessionid=换成…

re模块 点我回顾 Beautifulsoup模块 #安装 Beautiful Soup pip install beautifulsoup4 #安装解析器 Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,其中一个是 lxml .根据操作系统不同,可以选择下列方法来安装lxml: $ apt-get insta…

requests模块的其他用法 #通常我们在发送请求时都需要带上请求头，请求头是将自身伪装成浏览器的关键，常见的有用的请求头如下 Host Referer #大型网站通常都会根据该参数判断请求的来源 User-Agent #客户端 Cookie #Cookie信息虽然包含在请求头里，但requests模块有单独的参数来处理他，headers={}内就不要放它…

回顾:http协议基于请求响应的方式，请求：请求首行 请求头{‘keys’:vales} 请求体 ；响应:响应首行，响应头{‘keys’:’vales’}，响应体。 import socket sock=socket.socket() sock.bind((“127.0.0.1”,8808)) sock.listen(5) while 1: print(“s…

介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 from selenium import webdriver browser=webdri…

#安装https://blog.csdn.net/Ldw_bomber/article/details/89226471#Scrapy学习篇（一）架构 https://www.jianshu.com/p/63bd10325295 #Scrapy学习篇（二）命令行工具 https://www.jianshu.com/p/aff478a18181 #Scrapy…