关于请求网页,不得不提requests这个库,这是爬虫经常用到的一个第三方库,用pip安装即可。

requests用法很多,这里只写一些基础的,其他高级功能可参考官方文档。

import requests

url = 'http://www.baidu.com'
#这里用get方法用来请求网页,其他还有post等方法来请求网页
data = requests.get(url)

print(data)
#<Response [200]>

print(data.text)#这里的 .text 就等同于上一篇中的 read()
#此时同样打印出网页源码
#<!DOCTYPE html><!--STATUS OK--><html><head><meta http-equiv="content-type" content="text/html;charset=utf-8"><meta http-equiv="

  关于requests还有一些其他用法对我们已有的爬虫程序也很有用。

code = data.encoding#获取页面的编码方式
print(code)
#utf-8

page_status = data.status_code#获取状态码,检查是否请求成功
print(page_status)
#200

  这些是requests的基础用法,爬虫开始掌握这些简单的用法就可以啦。后面还会继续对requests进行总结。