一、本课知识路线
1、Requests框架:自动爬取HTML页面与自动网络请求提交
2、robots.txt:网络爬虫排除标准
3、BeautifulSoup框架:解析HTML页面
4、Re框架:正则框架,提取页面关键信息
5、Scrapy框架:网络爬虫原理介绍,专业爬虫框架介绍
#抓取百度页面 import requests r = requests.get('http://www.baidu.com') print(r.status_code) #状态码,抓取成功200 r.encoding = 'utf-8' #把编码改为utf-8 print(r.text) #输出抓取内容
二、Requests库的七个主要方法
1、requests.request(method,url,**kwargs):构造一个请求,支持以下方法的基础方法
method:请求方式,对应GET\POST\PUT\HEAD\PATCH\delete\OPTIONS7种
url:获取的页面的URL连接
**kwargs:控制访问的参数,共13个(可选):
1、params:字典或字节序列,作为参数增加到url中
import requests url = 'http://httpbin.org/post' payload = {'key1':'value1','key2':'value2'} r = requests.get(url, params = payload) print(r.url) #http://httpbin.org/post?key1=value1&key2=value2
2、data:字典、字节序列或文件对象,作为Request的内容
3、json:JSON格式数据,作为Request的内容
4、headers:字典,HTTP定制头
import requests url = 'http://httpbin.org/post' payload = {'user-agent':'Chrome/10'} r = requests.request('POST',url,headers=payload) #修改agent
5、cookies:字典或CookieJar,Request中的cookie
6、auth:元组,支持HTTP认证功能
7、files:字典类型,传输文件
import requests url = 'http://httpbin.org/post' fs = {'file':open('data.xls','rb')} r = requests.request('POST',url,files=fs) #向页面传输文件
8、timeout:设定超时时间,秒为单位
import requests url = 'http://httpbin.org/post' r = requests.request('GET',url,timeout = 10)
9、proxies:字典类型,设定访问代理服务器,可以增加登录认证
import requests url = 'http://httpbin.org/post' pxs = {'http':'http://user:pass@10.10.10.1:1234','http':'http://10.10.10.1:1234'} #设置两个代理服务器 r = requests.request('GET',url,proxies=pxs)
10、allow_redirects:True/False,默认为True,重定向开关
11、stream:True/False,默认为True,获取内容立即下载开关
12、verify:True/False,默认为True,认证SSL证书开关
13、cert:本在SSL证书路径
2、requests.get(url,params=None,**kwargs):获取HTML页面的主要方法,对应HTTP的GET
url:获取页面的url链接
params:url中额外参数,字典或字节流格式,可选
**kwargs:12控制访问参数,可选
1、构造一个向服务器请求资源的Request对象
2、函数返回一个包含服务器资源的Response对象
说明:Response对象
import requests response = requests.get('http://www.baidu.com') print(response.status_code) #200 print(response.encoding) #ISO-8859-1 print(response.apparent_encoding) #utf-8 response.encoding = response.apparent_encoding print(response.headers)
Response对象属性
1、r.status_code:HTTP请求的返回状态,200表示连接成功,404表示失败或者其他
2、r.text:HTTP响应内容的字符串形式,即url对应的页面内容
3、r.encoding:从HTTP header中猜测的响应内容编码方式
4、r.apparent_encoding:从内容中分析出的响应内容编码方式(备选编码方式)
5、r.content:HTTP响应内容的二进制形式
3、requests.head(url,**kwargs(13个参数)):获取HTML页面的头部信息方法,对应HTTP的HEAD
import requests url = 'http://www.baidu.com' r = requests.head(url) print(r.headers) print(r.text) #无输出内容
4、requests.post(url,data=None,json=None,**kwargs(11个可选参数)):向HTML页面提交POST请求方法,对应HTTP的POST
import requests url = 'http://httpbin.org/post' payload = {'key1':'value1','key2':'value2'} r = requests.post(url, data = payload) #向URL POST一个字典,自动编码为form表单 print(r.text)
import requests url = 'http://httpbin.org/post' r = requests.post(url, data = 'abc') #向URL POST一个字符串,自动编码为data
print(r.text)
5、requests.put(url,data=None,**kwargs(12可选参数)):向HTML页面提交PUT请求方法,对应HTTP的PUT
put方法与post方法一样,区别在于put方法会把原有数据覆盖
6、requests.patch(url,data=None,**kwargs(12可选参数)):向HTML页面提交局部修改请求方法,对应HTTP的PATCH
7、requests.delete(url,**kwargs(13个可选参数)):向HTML页面提交删除请求方法,对应HTTP的DELETE
三、Requests库的异常
异常 | 说明 |
requests.ConnectionError | 网络连接错误异常,如DNS查询失败、拒绝连接等 |
requests.HTTPError | HTTP错误异常 |
requests.URLRequired | URL缺失异常 |
requests.TooManyRedirects | 超过最大重定向次数,产生重定向异常 |
requests.ConnectTimeout | 连接运程服务超时异常 |
requests.Timeout | 请滶URL起时,产生超时异常 |
r.raise_for_status():Requests异常方法,返回200则抓取正常,如果不是200,产生异常requests.HTTPError
四、爬虫网页的通用代码框架
import requests def getHTMLText(url): try: response = requests.get(url,timeout=30) #返回Response对象 response.raise_for_status() #如果状态不是200,则产生HTTPError异常,跳转运行except处代码 response.encoding = response.apparent_encoding #保证页面编码正确 return response.text #返回抓取内容 except: return '产生异常!' if __name__ == '__main__': url = 'http://www.baidu.com' print(getHTMLText(url))
五、HTTP协议:Hypertext Transfer Protocol,超文本传输协议
HTTP是一个基于'请求与响应'模式的、无状态的应用层协议;一般采用URL用为定位网络资源的标识。
URL格式: http:host[:port][path]
host:合法的Internet主机域名或IP地址
port:端口号,可省略,默认为80
path:请求资源的路径
HTTP协议对资源的操作方法
方法 | 说明 |
GET | 请求获取URL位置资源 |
HEAD | 请求获取URL位置资源的头部信息 |
POST | 请求向URL位置资源后附加新的数据 |
PUT | 请求向URL位置存储一个资源,覆盖原URL位置资源 |
PATCH | 请求局部更新URL位置资源 |
DELETE | 请求删除URL位置存储的资源 |
六、作业:Requests库的爬取性能分析
尽管Requests库功能很友好、开发简单(其实除了import外只需一行主要代码),但其性能与专业爬虫相比还是有一定差距的。请编写一个小程序,“任意”找个url,测试一下成功爬取100次网页的时间。(某些网站对于连续爬取页面将采取屏蔽IP的策略,所以,要避开这类网站。)
import requests import time def getHTMLText(url): try: r = requests.get(url, timeout = 10) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return 'Error'
if __name__ == '__main__': url = 'http://www.bilibili.com' print('start the test:') start_time = time.clock() for i in range(100): getHTMLText(url) end_time = time.clock() print('Total runing time:%s' %(end_time-start_time)) #Total runing time:114.73649717934875
#作业 #1、爬虫京东 import requests url = 'https://item.jd.com/2357091.html' try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding print(r.text[:1000]) print(r.request.headers) #{'User-Agent': 'python-requests/2.13.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'} except: print('Error') #2、爬虫amzon import requests url = 'https://www.amazon.cn/dp/B004DCV1FO' try: kv = {'User-Agent':'Mozilla/5.0'} r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding print(r.status_code) print(r.request.headers) r = requests.get(url,headers = kv) print(r.status_code) print(r.request.headers) except: print(r.status_code) /* 200 {'User-Agent': 'python-requests/2.13.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'} 200 {'User-Agent': 'Mozilla/5.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'} */ #3、向百度与其360提交搜索关键字 import requests try: r = requests.get('http://www.baidu.com/s',params={'wd':'Python'}) print(r.request.url) #http://www.baidu.com/s?wd=Python r.raise_for_status() r.encoding = r.apparent_encoding print(len(r.text)) except: print('Error') import requests try: keyword = 'Python' kv = {'q':keyword} r = requests.get('https://www.so.com/s',params=kv) print(r.request.url) #https://www.so.com/s?q=Python r.raise_for_status() r.encoding = r.apparent_encoding print(len(r.text)) except: print('error')
#作业5查ip归属 import requests url = 'http://www.ip138.com/ips138.asp?ip=' try: r = requests.get(url + '114.116.113.46') r.raise_for_status() r.encoding = r.apparent_encoding print(r.text) except: print('error')
#4爬取保存图片 import requests import os url = 'http://p1.so.qhimgs1.com/bdr/326__/t01d9dff613f7d05381.jpg' root = 'D://pics//' path = root + os.path.basename(url) #os.path.basename(path) 返回path最后的文件名。如何path以/或\结尾,那么就会返回空值。即os.path.split(path)的第二个元素 #path = root + url.split('/')[-1] try: if not os.path.exists(root): #os.path.exists(path) 如果path存在,返回True;如果path不存在,返回False os.mkdir(root) if not os.path.exists(path): r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding with open(path,'wb') as f: f.write(r.content) print('文件保存成功') else: print('文件存在') except: print('爬取失败')
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:第一课:网络爬虫准备 - Python技术站