Python实现爬取百度图片的方法示例

本文将详细讲解如何使用Python爬取百度图片的方法。我们将涵盖以下主题：

1. 准备工作：安装必要的库
2. 获取图片链接：利用百度图片搜索的API进行爬取
3. 下载图片：使用Python的requests包进行下载

准备工作

在开始爬取百度图片之前，我们需要安装以下Python库：

1. requests：用于发送HTTP请求和获取HTTP响应内容。
2. Beautiful Soup：一种Python解析库，用于从HTML和XML文件中提取数据。

可以使用以下命令进行安装：

pip install requests
pip install beautifulsoup4

获取图片链接

要从百度图片中爬取图片，我们可以使用百度图片搜索的API来获取图片链接。在这里，我们将实现两种不同的方法来获取图片链接：

方法1：使用requests库获取链接

我们可以向百度进行搜索，然后分析网页，从而获得图片链接。下面是使用requests库和Beautiful Soup来实现的代码示例：

import requests
from bs4 import BeautifulSoup

query = "猫"
url = f"https://image.baidu.com/search/index?tn=baiduimage&word={query}"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "html.parser")

img_links = []
for img_tag in soup.find_all("img"):
    if "src" in img_tag.attrs:
        img_links.append(img_tag.attrs["src"])

print(img_links)

在这个示例中，我们通过使用搜索查询来获取百度图片的搜索结果，并使用Beautiful Soup解析HTML文档来查找所有图片标签，并提取其中包含的图片链接。

方法2：使用百度图片搜索API获取链接

百度图片有一个JSON格式的API，可以直接提供我们需要的信息。我们只需使用requests库来获取HTTP响应，然后使用JSON解析工具来解析响应。

下面是使用这种方法的代码示例：

import requests

query = "狗"
url = f"https://image.baidu.com/search/acjson?tn=resultjson_com&logid=4764137507048348212&ipn&rst=1&word={query}&face=0&pn=0"

response = requests.get(url)
data = response.json()

img_links = []
for item in data["data"]:
    if "thumbURL" in item:
        img_links.append(item["thumbURL"])

print(img_links)

在这个示例中，我们直接向API发出请求，然后从响应数据中提取图像链接。

下载图片

在获取了图片链接之后，我们将使用Python的requests库来下载这些图片。使用requests库下载图片非常简单，只需一行代码：

response = requests.get(url)

我们可以使用以下代码来下载所有图片：

import requests
import os

query = "狗"
url = f"https://image.baidu.com/search/acjson?tn=resultjson_com&logid=4764137507048348212&ipn&rst=1&word={query}&face=0&pn=0"

response = requests.get(url)
data = response.json()

for idx, item in enumerate(data["data"]):
    if "thumbURL" in item:
        img_url = item["thumbURL"]
        response = requests.get(img_url)
        filename = f"{query}_{idx}.jpg"
        with open(filename, "wb") as f:
            f.write(response.content)
        print(f"已下载图片：{filename}")

print("下载完成")

在这个示例中，我们使用多个请求来下载多个图像，并将图像保存到本地文件系统中。如果图片链接中包含图片名，你也可以直接使用该名称进行保存。

总结

在本文中，我们演示了如何使用Python来爬取百度图片。我们学习了两种不同的方法来获取图像链接，并使用requests库下载图像。Python和相关库使得爬取图片和其他Web数据变得非常容易。