怎么得到tuphub.today热榜和热度呢?

用到的模块有:requesst、re、pandas
步骤:1.得到url
2.设置请求头伪装浏览器,防止被反爬
3.请求获得文本文件
4.用re.compile()方法复制文本
5.用pd.DataFrame()让爬取的信息根据可读性,条理性。

import requests
import re
import pandas as pd

url = "https://tophub.today/n/Jb0vmloB1G"

headers = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"
                  " AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/100.0.4896.127 Safari/537.36 Edg/100.0.1185.44"
}

r = requests.get(url,headers=headers).text # 得到text文本。

title = re.compile('itemid="[0-9]*">(.*?)</a>') # 这些信息在网页开发者模式下可以获取
titles = title.findall(r)[0:31] # 用findall方法和切片获得1-30的排行榜

num = re.compile("<td>(.*?)</td>") #复制热度信息
nums = num.findall(r)[0:31]

m = {"今日热点":titles,"热度":nums}
file = pd.DataFrame(m) # 使用DataFrame方法使爬取的数据更具可读性。
print(file)

爬取后的样子:
image

如果你把这段代码复制运行,你可能会发现爬取不到,因为热榜信息在更新,写的不太严谨,因为作者见解有限,在不断学习中,有啥不足或者补充的,欢迎各位大佬评论!
image

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:怎么得到tuphub.today热榜和热度呢? - Python技术站

(0)
上一篇 2023年4月2日 下午5:43
下一篇 2023年4月2日 下午5:43

相关文章

  • Urllib的4个模板

    urllib的4个模板 1.request:最基本的http请求模块,用来模拟发送请求,就像是在浏览器中输入一个网址然后回车一样,只需要传入uel,timeout等参数就可以实现一个模拟请求。主要功能:用于模拟发送请求打开和读取URL。 2.error:异常处理模块,如果出现请求错误,我们可以捕获这些请求,然后进行重试或其他操作以保证程序不会意外终止。主要功…

    Python开发 2023年4月2日
    00
合作推广
合作推广
分享本页
返回顶部