Python定时爬取微博热搜示例介绍

这里是关于“Python定时爬取微博热搜示例介绍”的完整攻略。

什么是定时爬虫？

在爬虫这个领域，定时爬虫是指利用爬虫脚本按照预先设定的时间间隔，自动地从爬取目标网站上获取所需数据。 因此，后续可以通过所得数据进行一系列的分析与处理，进而推动业务的深入发展。

Python 定时爬取微博热搜

下面将会讲述两条 Python 定时爬取微博热搜 示例，帮助大家更好地学习实践。

示例一

先来介绍第一条 Python 定时爬取微博热搜 示例。

Step 1：安装相关依赖

在使用 Python 定时爬虫进行微博热搜爬取前，需要先安装一些必要的工具和依赖库:

# 安装 selenium
pip install selenium
# 安装 chrome 驱动
# 可以到这里下载对应的版本 https://sites.google.com/a/chromium.org/chromedriver/downloads
# 注意将 chrome 驱动文件所在路径加入 PATH

Step 2：创建脚本并执行

创建一个 weibo.py 的脚本：

from selenium import webdriver
import time

driver = webdriver.Chrome() # Chrome 驱动所在的路径
driver.get("https://s.weibo.com/top/summary")

time.sleep(5) # 等待 5 秒

# 找到实时热搜的列表
trs = driver.find_elements_by_xpath("//table[@class='data']/tbody/tr")

# 输出所有热搜及其对应的人数
for tr in trs:
    rank = tr.find_element_by_xpath("./td[@class='ranktop']/text()").strip()
    a = tr.find_element_by_xpath("./td[@class='td-02']/a")
    title = a.get_attribute("title")
    href = a.get_attribute("href")
    hot = tr.find_element_by_xpath("./td[@class='td-03']/span/text()").strip()
    print(f"Rank: {rank} - {title} ({hot}) {href}")

driver.quit()

这个脚本将会访问微博热搜榜的实时热搜页面，并对页面进行爬取，并输出相应信息。

接下来我们编写一个主脚本 main.py：

import schedule
import time
from weibo import get_hot_search

def job():
    print("start job")
    get_hot_search()

schedule.every(10).minutes.do(job) # 每 10 分钟执行一次 job 函数

while True:
    schedule.run_pending()
    time.sleep(1)

这个脚本需要安装 Python 的第三方库：schedule。它的作用是每隔 10 分钟执行一次 get_hot_search() 函数，可以按照自己的需求设定定时周期。

Step 3：运行脚本

在运行 main.py 前，还需要启动 Chrome 浏览器，保持其开启。

接着在终端中执行 python main.py，就可以看到每隔 10 分钟输出热搜相关信息了。

示例二

第二个示例同样是 Python 定时爬取微博热搜的脚本，不过这一次我们使用了 Requests 库，这是一个 Python 的 HTTP 库，常用于 HTTP 请求和响应。

Step 1：安装相关依赖

和前面一样，需要先安装好 Requests 库：

pip install requests

Step 2：创建脚本并执行

创建一个 weibo.py 的脚本：

import requests
from bs4 import BeautifulSoup

def get_hot_search():
    url = "https://s.weibo.com/top/summary"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
    res = requests.get(url, headers=headers)
    res.encoding = "utf-8"
    soup = BeautifulSoup(res.text, "html.parser")
    trs = soup.select("table.data tbody tr")
    for i in range(len(trs)):
        rank = trs[i].select(".ranktop")[0].text.strip()
        title = trs[i].select(".td-02 a")[0].text.strip()
        href = trs[i].select(".td-02 a")[0].get("href")
        hot = trs[i].select(".td-03 span")[0].text.strip()
        article = {
            "Rank": rank,
            "Title": title,
            "Link": href,
            "Hot": hot
        }
        print(article)

请注意，可以根据情况自己调整脚本中的 headers 信息，同时将输出信息调整至自己的需求。

接下来，我们可以编写主脚本 main.py，该脚本将会每 10 分钟自动执行爬虫操作：

import time
import schedule
from weibo import get_hot_search

def job():
    print("start job")
    get_hot_search()

schedule.every(10).minutes.do(job)

while True:
    schedule.run_pending()
    time.sleep(1)

Step 3：运行脚本

在终端中运行 python main.py 命令，程序就开始按照设定周期定时从微博热搜榜上获取热搜相关信息了。

总结

通过以上示例，我们了解了如何利用 Python 定时爬虫进行微博热搜爬取，并对数据进行相应的处理。需要注意的是，本攻略仅仅是一个比较简单且基础的爬虫例子，对于更为复杂和精细化的业务场景，相关技术和算法需要有更强的掌握程度。