爬虫
-
微信公众号_订阅号_爬虫puppeteer
puppeteer 借助 puppeteer 库实现爬虫，puppeteer 提供了高级 api 接口来操作 chrome 来 npm install puppeteer –save-dev // 下载到开发依赖—-很大 业务逻辑： 1. 打开浏览器网页 2. 新建标签页 3. 跳转到指定网址 4. 开始爬取数据 5. 关闭浏览器 index…
-
python 爬虫 亚航 指定日期间的航线
前两天在BOSS上找爬虫工作，投了N份简历，很少有回复的，唯一能看到点希望的是一家旅游公司，BOSS上回复说：要求做一些航空公司的爬虫，做好之后把思路和一些数据发过去，再谈后续的面试问题。 发过来两个爬虫项目，说如果面试通过，会根据所选的爬虫项目进行工资定级，我选了这个据说是难度更大一些的：airasia.com。 花了两天时间，搞定了这个爬虫，按要求把采集…
-
python应用：爬虫实例(静态网页)
爬取起点中文网某本小说实例： 1 # -*-coding:utf8-*- 2 import requests 3 import urllib 4 import urllib2 5 from bs4 import BeautifulSoup 6 import sys 7 reload(sys) 8 sys.setdefaultencoding(‘utf-8’)…
-
python应用：爬虫框架Scrapy系统学习第一篇——xpath详解
HTML的三大概念：标签、元素以及属性 标签：尖括号中的文本 例：<head>……</head> 标签通常成对出现 元素：标签中的所有内容 元素中可包含元素 属性：标签的特殊标注等 例：<a href=”http:\\www.baidu.com”>……</a> 其中，href…
-
ruby之selenium自动化 or ruby爬虫利器-selenium
selenium是什么？自动化测试工具，他支持各种浏览器，chrome，firefox等，我们可以在这些浏览器里面安装插件，可以方便的进行web测试，也可以通过代码操作，直接对web界面进行测试。 selenium支持多种语言开发java、python、ruby、c#、js、php等。这边，我用的是ruby+selenium，通过简单的描述，对selen…
-
爬虫分页信息的获取（ruby+selenium python+selenium）
在爬虫的时候，我们会遇到一些问题，即使获取到全文的url，但是可能page的连接获取不完整，就会导致我们爬虫的时候，比如说爬商品信息，就会拿不完整商品信息。 页面信息大概有这两种情况： 第一种： 1，2，3，4，5，…，next，last 第二种： 1，2，3，4，5，> 实现语言：ruby or python（提供两种） 爬虫工…
-
[Golang]实习最后一天小纪念＋并发爬虫小练习
今天是我在公司实习的最后一天，一个月的时间真的是太短暂了，我非常享受在公司工作的这一个月，在这里Leader和同事们对我的帮助极大地促进了我技术水平的进步和自信心的提升，我发自内心地感谢白山云科技给我这样一个实习的机会，谢谢你们对我的无私帮助（虽然他们可能也看不到…）。 眼看着暑假还剩不到一个月，其实我内心是不想离开这个公司的，但是想到开学以后又要有…
-
Python爬虫入门——使用requests爬取python岗位招聘数据
爬虫目的 使用requests库和BeautifulSoup4库来爬取拉勾网Python相关岗位数据 爬虫工具 使用Requests库发送http请求，然后用BeautifulSoup库解析HTML文档对象，并提取职位信息。 爬取过程 1.请求地址 https://www.lagou.com/zhaopin/Python/ 2.需要爬取的内容 （1）岗位名称…
-
PHP判断是不是爬虫的方法
PHP判断是不是爬虫的方法这个一般用于防止爬虫 和 seo优化(因为爬虫都是按照第一次打开显示的页面 有些ajax 等需要点击才能显示的就爬不到啦)<pre><?php// 判断是否搜索引擎机器人访问function isRobot() { $agent= strtolower(isset($_SERVER[‘HTTP_USER_AGENT…
-
爬虫实现免登入
近来身边很多人问，爬虫怎么实现免登入，这边介绍几种方法。 1、scrapy的FormRequest模块 2、requests的post实现免登入 3、selenium实现自动化登入过程 接下来，我们来实现http://oursteps.com.au/的免登入 我们先说前两种的情况，使用scrapy和requests的模拟登入 打开浏览器，输入http…
