- urllib是python内置的请求库。它主要包含四个模块:
- request :是最基本的HTTP请求模块,可以用来模拟发送请求。
- error:异常处理模块,如果请求出现错误,可以捕获异常,然后进行其他操作,保证程序不会意外终止。
- parse:工具模块,提供了很多URL处理方法,比如拆分、解析、合并等。
- robotparser:主要用来识别网站的robots.txt文件,然后判断哪些网站可以爬。
- 使用urllib的request模块中的方法urlopen抓取python官网,这样我们想要的东西就可以提取出来了
import urllib.request response = urllib.request.urlopen('https://www.python.org') print(type(response)) #类型 print(response.read().decode('utf-8'))
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:python 爬虫 基本库使用urllib之urlopen(一) - Python技术站