爬虫

前言 继续，还是猿人学的，既然之前已经开了篇，那么这个系列就会一直更下去   分析   开始分析，打开页面：       还是这样的，要翻完5页，然后才能得到结果，老路子，打开浏览器的调试工具翻页看看，刚点击翻页，我去，这cookie有效期有点短啊         那重新抓包吧， 又出现这个：     鼠标放到那一行右键，然后如下：     继续抓包看看，点…

  什么是selenium grid，它就是selenium的三大控件之一，三大控件就是selenium WebDriver，selenium Grid，selenium IDE   selenium IDE：负责录制，回放脚本，模拟用户对页面的真是操作 selenium WebDriver：提供强大的浏览器APi操作，覆盖浏览器有：chrome，firef…

前言 由于最近一直没有一个练手的平台，苦苦寻找好久，找到了猿人学平台，其实我很早就知道这个平台，他们2020年刚还是搞爬虫大赛的时候我就看到了，只是没有仔细去研究，都只是大概的看了下，最近有空就特意的分析了下，还真的有点东西，至少我觉得比较有意思   分析 先看题：       然后查看翻页，这个接口不难找：       但是看提交的参数：         …

前言   本次也是记录一个偶然发现的小问题，有关js逆向和app逆向的系列文章，放一放，有空再系统的整理成文发布了。   这个问题就很骚了，废话不多说，直接情景再现   目标网站：aHR0cHM6Ly93d3cubW5kLmdvdi50dy9QdWJsaXNoTVBCb29rLmFzcHg/JnRpdGxlPSVFOCVCQiU4RCVFNCVCQSU4Qi…

前言 继续，不多说   分析 打开网站：     然后抓取接口：       查看请求参数，发现没有什么特别的，就是多了个cookie     这个cookie咋来的？搜yuanrenxue_cookie搜不到：     那还是上抓包工具吧，抓包发现了这段js:     复制出来控制台执行：    这，不用多说了吧，前面复杂的都研究过了，拿到这个去请求就完了…

前言  继续分析，为什么一下从第二题跳到了十二题，我也不知道为啥他这个平台的难度不循序渐进，把这么一个非常简答的题放在了后面，既然简单，那就快速解决了 分析 打开界面：         翻页，找接口：           看参数：       也是m，不多说，看到最后有【=】，先猜一波是不是base64，拿着去解码：     发现就是yuanrenxue+页…

本篇文章转载于崔大的公众号文章，瞬间感觉这是个大招啊，赶紧学习起来   原文链接：点我， 以下为原文内容：   做爬虫的时候我们经常会遇到这么一个问题： 网站的数据是通过 Ajax 加载的，但是 Ajax 的接口又是加密的，不费点功夫破解不出来。这时候如果我们想绕过破解抓取数据的话，比如就得用 Selenium 了，Selenium 能完成一些模拟点击、翻页…

上次写的如何给小孩约马术课过程，见这里 Python 约课[1]， 本想一劳永逸，但是好景不长，预约系统升级了，而且还换了服务商，从之前的公众号 H5 应用，换成了小程序，之前编写的方式直接失效，孩子又没马骑了 谁叫他遇到一个程序员老爸呢？这点事儿难不倒我，开干 小程序的不同之处 与访问 H5 不同的是，小程序相当于一个 app，其上的操作是经过微信的封装的…

毕业论文缺了点数据，于是去爬了下某猫投诉。想想上次写爬虫还是一年前大数据课程的时候。这次写也依旧遇到了一些坑，有Python本身的，有爬虫的，于是记录下。 1.Unicode字符编码问题 这段数据我是从summary，即摘要开始看的，summary的内容都是\xxxxx。summary内容： \u56e0\u4e3a\u4eca\u5929\u5c31\u8…

前言   这次这个网站很巧，也是一个代理网站，不过这次不是我那老朋友给的了，是我自己偶然找到的，而且也是端口加密的，跟之前某篇文章差不多。   想源网址的，为了避免一些不必要的麻烦，私我给地址吧（直接在博客园私信，不用去其他地方，免得误会我是为了推广拉新啥的）   这个网站虽然是国外的（需要挂dl访问），安全等级虽然也很低，对js逆向感兴趣的可以拿来练练手，…