【问题标题】：Python 2.7 BeautifulSoup4 is returning an empty setPython 2.7 BeautifulSoup4 返回一个空集
【发布时间】：2023-04-01 11:16:01
【问题描述】：

我正在尝试使用 bs4 从谷歌搜索中获取链接，但我的代码返回一个空集。

import requests
from bs4 import BeautifulSoup

website = "https://www.google.co.uk/?gws_rd=ssl#q=science"

response=requests.get(website)

soup = BeautifulSoup(response.content)

link_info = soup.find_all("h3", {class": "r"})
print link_info

<h3 class="r"> 是所有结果的链接不仅仅是第一个结果的链接。

作为回应，我得到了[]，这是我尝试请求的任何其他课程，包括<div class="rc">。

这是我所追求的 prt sc，

【问题讨论】：

  • Scrapy: Google Crawl doesn't work的可能重复
  • 查询是 POST 请求，而不是 GET。您应该使用 POST 请求并将 q 放入 post 参数中，如下所述。为了更好地理解它，请在浏览器中打开检查元素，打开网络选项卡，然后发送请求。您将看到在那里完成的 URL 命中列表。单击其中一个，您将看到有关您的请求的更多信息。将有参数、标题、cookie 等选项。 Params 是发送到服务器的 post 参数。如果是 GET 请求，一般不会有任何参数

标签：
python-2.7
beautifulsoup
python-requests
bs4