爬虫
-
Python3爬虫(3)_urllib.error
注：参照https://blog.csdn.net/c406495762/article/details/59488464 urllib.error可以接收有urllib.request产生的异常。urllib.error有两个方法，URLError和HTTPError。如下图所示： URLError是OSError的一个子类，HTTPError是…
-
Python3爬虫(2)_利用urllib.urlopen发送数据获得反馈信息
一、urlopen的url参数 Agent url不仅可以是一个字符串，例如:https://baike.baidu.com/。url也可以是一个Request对象，这就需要我们先定义一个Request对象，然后将这个Request对象作为urlopen的参数使用， 代码: 1 from urllib import request 2 3 if __nam…
-
网络爬虫（4）–正则表达式
正则表达式在文本匹配中使用广泛。网络爬虫中往往涉及对页面某些信息的提取，正则表达式能够极大的简化我们对信息的筛选过程。 对正则表达式的学习可以参考http://www.runoob.com/python/python-reg-expressions.html 我们以对一个邮箱的正则匹配为例，介绍正则表达式的应用。 一个邮箱地址可…
-
网络爬虫（3）–Beautiful页面解析
前面2节中对页面内容的访问都是直接通过标签访问的，这样虽然也可以达到解析页面内容的目的，但是在网页复杂，页面结构发生变化时，爬虫就失效了。为了使爬虫能够更加鲁棒的工作，我们需要学习通过属性查找标签的方法。 BeautifulSoup的find()和findAll()方法： findAll(tag, attribute, recursive, …
-
网络爬虫（5）–小实战
到目前为止，我们学习了如何访问远程网站，如何解析页面内容，是时候开始应用一下了。在这里，我们以通过http://www.heibanke.com/lesson/crawler_ex00/为例，这个网站会告诉我们爬虫应该向哪里链接，直到爬到通过为止。 首先我们需要查看网页的源代码，确定我们需要的信息在哪里。通过查看源代码，我们可以…
-
网络爬虫（2）–异常处理
上一节中对网络爬虫的学习的准备工作作了简要的介绍，并以一个简单的网页爬取为例子。但网络是十分复杂的，对网站的访问并不一定都会成功，因此需要对爬取过程中的异常情况进行处理，否则爬虫在遇到异常情况时就会发生错误停止运行。 让我们看看urlopen中可能出现的异常： html = urlopen(“http://www.heibanke.com/lesson/cr…
-
网络爬虫（1）–准备工作
网络爬虫是根据一定的规则自动的对网络信息进行抓取，为了对爬虫有更深的了解，学习爬虫前有必要先了解一下一个网页打开的完整过程，可以参考http://blog.csdn.net/saiwaifeike/article/details/8789624 接下来就是需要安装和了解常用的2个相关库，一个是urllib ,另一是Beauti…
-
python 爬虫下载英语听力新闻(npr news)为mp3格式
想通过听实时新闻来提高英语听力，学了那么多年的英语，不能落下啊，不然白费背了那么多年的单词。 npr news是美国国家公共电台，发音纯正，音频每日更新，以美国为主，世界新闻为辅，比如最近我国武汉发生的新型冠状病毒肺炎，每天都有涉及China,Wuhan，Coronavirus等词。 自己动手丰衣足食，以前在网上下载的各种音频都是几年前的新闻，听着感觉没…
-
爬虫要违法了吗？小编告诉大家：守住规则，大胆去爬
最近我学习和实践网络爬虫，总想着在这儿抓点数据在那儿抓点数据。 但不知为什么，抓取别人网站数据时，总会产生莫名恐慌生怕自己一不小心就侵权了，然后被关在监狱摩擦 所以我想现在这个时候，非常有必要仔细研究一下有关网络爬虫的规则和底线。 我们生活中几乎每天都在爬虫应用，如百度，你在百度中搜索到的内容几乎都是爬虫采集下来的(百度自营的产品除外，如百度知道…
-
线程池在爬虫案例中的应用
import requests from lxml import etree import re from multiprocessing.dummy import Pool #需求：爬取梨视频的视频数据 headers = { ‘User-Agent’:’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/53…
