urllib的4个模板
1.request:最基本的http请求模块,用来模拟发送请求,就像是在浏览器中输入一个网址然后回车一样,只需要传入uel,timeout等参数就可以实现一个模拟请求。
主要功能:用于模拟发送请求打开和读取URL。
2.error:异常处理模块,如果出现请求错误,我们可以捕获这些请求,然后进行重试或其他操作以保证程序不会意外终止。
主要功能:进行异常处理
3.parse:一个工具模块,提供了许多URL处理方法,比如拆分,解析,合并等2
主要功能:用于解析URL
robotparser:主要用来识别网站的robots.txt文件,然后判断哪些网站可以爬,哪些网站不可以爬,它其实用的比较少。
主要功能:用来解析robots.txt文件
下载模块需要win + r 在终端输入 pip install 模块名 即可完成下载
ps:requests 模块真的非常好用,会简化很多操作,请求,获取等操作往往只需要几行代码就可以完成,真的c!
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Urllib的4个模板 - Python技术站