Urllib的4个模板

urllib的4个模板

1.request:最基本的http请求模块,用来模拟发送请求,就像是在浏览器中输入一个网址然后回车一样,只需要传入uel,timeout等参数就可以实现一个模拟请求。
主要功能:用于模拟发送请求打开和读取URL。

2.error:异常处理模块,如果出现请求错误,我们可以捕获这些请求,然后进行重试或其他操作以保证程序不会意外终止。
主要功能:进行异常处理

3.parse:一个工具模块,提供了许多URL处理方法,比如拆分,解析,合并等2
主要功能:用于解析URL

robotparser:主要用来识别网站的robots.txt文件,然后判断哪些网站可以爬,哪些网站不可以爬,它其实用的比较少。
主要功能:用来解析robots.txt文件

下载模块需要win + r 在终端输入 pip install 模块名 即可完成下载

ps:requests 模块真的非常好用,会简化很多操作,请求,获取等操作往往只需要几行代码就可以完成,真的c!

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Urllib的4个模板 - Python技术站

(0)
上一篇 2023年4月2日 下午5:43
下一篇 2023年4月2日 下午5:44

相关文章

  • 怎么得到tuphub.today热榜和热度呢?

    用到的模块有:requesst、re、pandas步骤:1.得到url2.设置请求头伪装浏览器,防止被反爬3.请求获得文本文件4.用re.compile()方法复制文本5.用pd.DataFrame()让爬取的信息根据可读性,条理性。 import requests import re import pandas as pd url = “https://t…

    2023年4月2日
    00
合作推广
合作推广
分享本页
返回顶部