爬虫
-
python爬虫学习(5) —— 扒一下codeforces题面
上一次我们拿学校的URP做了个小小的demo。。。。其实我们还可以把每个学生的证件照爬下来做成一个证件照校花校草评比另外也可以写一个物理实验自动选课。。。但是出于多种原因，，还是绕开这些敏感话题。。今天，我们来扒一下cf的题面！ PS:本代码不是我原创 1. 必要的分析 1.1 页面的获取 一般情况CF的每一个 contest 是这样的： 对应的URL是：h…
-
【爬虫+数据分析+数据可视化】python数据分析全流程《2021胡润百富榜》榜单数据！
用python爬取并分析《2021胡润百富榜》的榜单数据！1、python爬虫讲解（requests向接口请求）。2、python数据分析讲解（pandas数据分析及可视化画图）含：直方图、柱形图、饼图、词云图等。 目录 一、爬虫 1.1 爬取目标 1.2 分析页面 1.3 爬虫代码 1.4 结果数据 二、数据分析 2.1 导入库 2.2 数据概况 2.3 …
-
python网络爬虫数据解析之正则
python网络爬虫数据解析之正则 本节内容，讲解爬取网络图片，利用正则匹配图片地址 请求网页之后，响应部分内容如下图： 1 时间：2023/1/7 10:42 2 功能描述 3 1.进行指定标签的定位 4 2.标签或者标签对应的属性中存储的数据值进行提取（解析） 5 获取图片地址并下载 6 7 8 编码流程 9 1.指定url 10 2.发起请求 11…
-
Socket爬虫：Python版
对于爬虫底层实现的学习笔记，requests，httpx等，都是基于该原理实现的，理解学习socket实现更好理解底层运行情况。 简述：较为底层的爬虫实现，用于了解爬虫底层实现的具体流程，现在各种好用的爬虫库（如requests，httpx…等）都是基于此进行封装的。PS：本文只作为实现请求的代码记录，基础部分不做过多阐述。 一、什么是socket 简称…
-
JS逆向之补环境过瑞数详解
纯补环境黑盒过瑞数 JS逆向之补环境过瑞数详解 “瑞数” 是逆向路上的一座大山，是许多JS逆向者绕不开的一堵围墙，也是跳槽简历上的一个亮点，我们必须得在下次跳槽前攻克它！！ 好在现在网上有很多讲解瑞数相关的文章，贴心的一步一步教我们去分析瑞数流程，分析如何去扣瑞数逻辑，企图以此教会我们 (手动狗头)。却鲜有文章详细去讲解如何通过纯补环境的方式过瑞数。今天，它…
-
C#爬虫开发小结
前言 2023年以来一直很忙，临近春节，各种琐事更多，但鸽了太久没写文章总是不舒坦，忙中偷闲来记录下最近用C#写爬虫的一些笔记。 爬虫一般都是用Python来写，生态丰富，动态语言开发速度快，调试也很方便 但是 我要说但是，动态语言也有其局限性，笔者作为老爬虫带师，几乎各种语言都搞过，现在这个任务并不复杂，用我最喜欢的C#做小菜一碟~ 开始 之前做 OneC…
-
Scrapy爬虫框架快速入门
安装scrapy pip install scrapy -i https://pypi.douban.com/simple/ 安装过程可能遇到的问题 版本问题导致一些辅助库没有安装好，需要手动下载并安装一个辅助库Twisted 运行时候：ModuleNotFoundError: No module named ‘attrs’pip install attrs…
-
C#网络爬虫开发
1前言 爬虫一般都是用Python来写，生态丰富，动态语言开发速度快，调试也很方便 但是 我要说但是，动态语言也有其局限性，笔者作为老爬虫带师，几乎各种语言都搞过，现在这个任务并不复杂，用我最喜欢的C#做小菜一碟~ 2开始 之前做 OneCat 项目的时候，最开始的数据采集模块，就是用 C# 做的，同时还集成了 Chloe 作为 ORM，用 Nancy 做 …
-
python爬虫学习——列表
namelist = [] #定义一个空的列表 namelist1 = [“小张”,”小红”,”小李”] print(namelist1[0]) print(namelist1[1]) print(namelist1[2]) testlist = [1,”测试”] #列表中存储混合类型 print(type(testlist[0])) print(type(…
-
python爬虫学习——文件操作，异常处理
文件操作 ”’ f = open(“a.txt”,”w”) #打开一个文件， w模式（写），如果文件不存在就在当前目录下创建 f.write(“hello world,i am here”) #将字符串写入文件中 f.close() #关闭文件 ”’ ”’ #read方法：读取指定的字符，开始定位在文件的开头，每执行一次，就向后移动指定的字符数 f =…
