爬虫
-
asynicio模块以及爬虫应用asynicio模块(高性能爬虫)
一、背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任务，那么该线程对cpu的利用率仍然会很高，之所以单线程下串行多个爬虫任务低效，是因…
-
java_爬虫_获取经过js渲染后的网页源码
md 弄了一天了……（这个月不会在摸爬虫了，浪费生命） 进入正题: 起初是想写一个爬虫来爬一个网站的视频，但是怎么爬取都爬取不到，分析了下源代码之后，发现源代码中并没有视频的dom 但是在浏览器检查元素的时候又是有的，这就让我很难过了 百度了一大天，发现是因为普通方法获取的只是服务器端本地的静态资源，也就是第一手资源 而浏览器检查元素的资源是经过js渲染…
-
爬虫-请求库之request
阅读目录 一 介绍 二 基于GET请求 三 基于POST请求 四 响应Response 五 高级用法 一 介绍 #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） #注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标…
-
纯golang爬虫实战－（六）－关于cookiejar的理解 (2020-02-14 13:50)
对上一篇遗留的cookie的问题，从这里https://studygolang.com/articles/5228找到一篇几年前的代码，原作者golang_yh发表的原文已经不见了，我对代码中的一处小错误进行了修复。 感觉这段代码有助于理解cookiejar package main import ( “fmt” “io/ioutil” “net/http…
-
Python爬虫实战——爬取今日头条美女图片
推荐下我自己创建的Python学习交流群923414804，这是Python学习交流的地方，不管你是小白还是大牛，小编都欢迎，不定期分享干货，包括我整理的一份适合零基础学习Python的资料和入门教程。 笔者是头条的深度使用者，经常用头条完成“看片”大业。若不信的话可以试试在头条搜索街拍，返回的都是一道道靓丽的风景线。 想把图片存下来，该怎么办呢？我们可…
-
Python爬虫一步步抓取房产信息
嗯，这一篇文章更多是想分享一下我的网页分析方法。玩爬虫也快有一年了，基本代码熟悉之后，我感觉写一个爬虫最有意思的莫过于研究其网页背后的加载过程了，也就是分析过程，对性能没有特殊要求的情况下，编程一般是小事。 以深圳地区的X房网为例吧。XX房网的主页非常简洁，输入相应的地区就可以找到对应的二手房或者一手房。这一篇文章主要就给大家介绍我在做XX房网爬虫的分析过程…
-
python爬虫项目(scrapy-redis分布式爬取房天下租房信息) python爬虫scrapy项目（二）
爬取目标：房天下全国租房信息网站（起始url：http://zu.fang.com/cities.aspx） 爬取内容：城市；名字；出租方式；价格；户型；面积；地址；交通 反反爬措施：设置随机user-agent、设置请求延时操作、 1、开始创建项目 1 scrapy startproject fang 2、进入fang文件夹，执行启动spide…
-
python爬虫项目-爬取雪球网金融数据（关注、持续更新）
爬取目标：雪球网（起始url：https://xueqiu.com/hq#exchange=CN&firstName=1&secondName=1_0&page=1） 爬取内容：雪球网深沪股市情况 使用工具：requests库实现发送请求、获取响应。 json格式的动态加载数据实现数据解析、提取。 pymy…
-
python爬虫（二十） select方法
有时候需要css选择器 1、通过标签名查找： <style type=”text/css”> p{ background-color:pink; } </style> <body> <div class=”box”> <p>123</p> <p>456</p> &…
-
python爬虫（二） urlparse和urlsplit函数
urlparse和urlsplit函数： urlparse： url=’http://www.baidu.com/s?wd=python&username=abc#1′ result=parse.urlparse(url) print(result) 输入的结果为解析之后的各部分 输出对应的参数： url=’http://www.baidu.c…
