爬虫
-
爬虫之BeautifulSoup
BeautifulSoup是一个模块，该模块用于接收一个HTML或XML字符串，然后将其进行格式化，之后便可以使用他提供的方法进行快速查找指定元素，从而使得在HTML或XML中查找指定元素变得简单。 from bs4 import BeautifulSoup html_doc = “”” <html><head><title&g…
-
爬虫基础 – Robots协议
Robots协议 指定一个robots.txt文件,告诉爬虫引擎怎么爬取 https://www.taobao.com/robots.txt User-agent: Baiduspider Allow: /article Allow: /oshtml Allow: /ershou Allow: /$ Disallow: /product/ Disallow:…
-
爬虫_Crawler4j的使用
Crawler4j的使用 （以下内容全部为转载，供自己查阅用） 下载地址： http://code.google.com/p/crawler4j/ Crawler4j的使用 网上对于crawler4j这个爬虫的使用的文章很少，Google到的几乎没有，只能自己根据crawler4j的源码进行修改。这个爬虫最大的特点就是简单易用，他连API都不提供。刚…
-
纯手工打造简单分布式爬虫(Python)
https://www.cnblogs.com/qiyeboy/p/7016540.html 本章讲的依旧是实战项目，实战内容是打造分布式爬虫，这对初学者来说，是一个不小的挑战，也是一次有意义的尝试。这次打造的分布式爬虫采用比较简单的主从模式，完全手工打造，不使用成熟框架，基本上涵盖了前六章的主要知识点，其中涉及分布式的知识点是分布式进程和进程间通信的…
-
关于爬虫中常见的两个网页解析工具的分析 —— lxml / xpath 与 bs4 / BeautifulSoup
http://www.cnblogs.com/binye-typing/p/6656595.html 读者可能会奇怪我标题怎么理成这个鬼样子，主要是单单写 lxml 与 bs4 这两个 py 模块名可能并不能一下引起大众的注意，一般讲到网页解析技术，提到的关键词更多的是 BeautifulSoup 和 xpath ，而它们各自所在的模块(python 中…
-
Python爬虫进阶之Scrapy框架安装配置
Python爬虫进阶之Scrapy框架安装配置 初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了，不过还有更加强大的工具，爬虫框架Scrapy，这安装过程也是煞费苦心哪，在此整理如下。 Windows 平台： 我的系统是 Win7，首先，你要有Python，我用的是2.7.7版本，Python3相仿，只是一些源文件不同。 官网文档：…
-
网络爬虫与搜索引擎优化(SEO)
爬虫及爬行方式 爬虫有很多名字，比如web机器人、spider等，它是一种可以在无需人类干预的情况下自动进行一系列web事务处理的软件程序。web爬虫是一种机器人，它们会递归地对各种信息性的web站点进行遍历，获取第一个web页面，然后获取那个页面指向的所有的web页面，依次类推。因特网搜索引擎使用爬虫在web上游荡，并把他们碰到的文档全部拉回来。然后对这些…
-
小爬虫，抓取某贴吧内所有帖子的图片
实现功能： 1.遍历贴吧首页所有帖子 2.下载帖子内的jpg图片并保存到本地文件夹，文件夹以帖子title命名。 #!/usr/bin/env python #-*- coding:utf8 -*- import sys reload(sys) sys.setdefaultencoding(‘gbk’) import urllib,urllib2 i…
-
爬虫之验证码处理
引入 相关的门户网站在进行登录的时候，如果用户连续登录的次数超过3次或者5次的时候，就会在登录页中动态生成验证码。通过验证码达到分流和反爬的效果。 验证码处理 使用云打码平台识别验证码 云打码平台处理验证码的实现流程： – 1.对携带验证码的页面数据进行抓取 – 2.可以将页面数据中验证码进行解析，验证码图片下载到本地 – 3.可以将验证码图片提交给三方平台…
-
爬虫之 Requests库的基本使用
引入 Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。 警告：非专业使用其他 HTTP 库会导致危险的副作用，包括：安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。 今日概要 基于requests的get请求 基于requests模块的post请求 基于requests模块ajax的get请求 基…
