python实现知乎高颜值图片爬取

下面是“python实现知乎高颜值图片爬取”的完整攻略：

知乎高颜值图片爬取

1. 确认目标

在开始爬取之前，我们需要明确自己需要爬取的内容。本次爬取的目标是知乎上发布的高颜值图片，例如：https://www.zhihu.com/question/350483283/answer/1015350064

2. 获取网页源代码

为了能够得到该问题下所有的回答，我们需要模拟访问该页面，并获取页面的源代码。可以使用Python中的requests库来完成这一步骤：

import requests

url = "https://www.zhihu.com/question/350483283/answer/1015350064"

headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
}

response = requests.get(url, headers=headers)

if response.status_code == 200:
    html = response.text
    print(html)
else:
    print("网页源代码获取失败！")

其中url为我们需要爬取的页面URL，headers则是我们模拟访问时的请求头信息。

3. 解析源代码

通过上一步骤我们已经能够获取到网页的源代码，接下来需要从中提取出我们需要的信息。对于本次爬取的目标，我们需要从源代码中提取出所有的图片链接。这里可以使用BeautifulSoup库来完成解析源代码的过程：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, "html.parser")

# 获取第一个回答的所有图片链接
img_tags = soup.select_one("div.RichContent-inner").find_all("img")
img_urls = [img_tag["src"] for img_tag in img_tags]

print(img_urls)

以上代码中，我们使用了BeautifulSoup的select_one()方法，获取到回答内容所在的div节点，然后使用find_all()方法找到所有的img节点，最后通过列表生成式获取到所有图片的src属性并输出。

4. 储存图片

我们已经成功获取到了所有的图片链接，接下来需要将这些图片下载到本地。可以使用Python中的urllib库完成这一步骤：

import urllib.request

# 图片下载路径
path = "D:/zhihu_images/"

for i, img_url in enumerate(img_urls):
    # 构造图片的文件名
    img_name = path + str(i) + ".jpg"
    # 下载图片
    urllib.request.urlretrieve(img_url, img_name)
    print("第%d张图片下载完成！" % i)

在以上代码中，我们给出了储存路径以及图片文件名的构造方法，随后使用urllib库中的urlretrieve方法将图片下载到本地。

示例说明

这里给出两个示例来说明如何使用以上代码：

1. 爬取其他问题的图片

如果需要爬取其他问题的图片，可以直接将url参数的值修改为其他问题的URL即可，例如：

url = "https://www.zhihu.com/question/361997232/answer/992033815"

1. 爬取多张图片

以上代码默认只爬取回答中的第一张图片，如果需要下载所有图片，则需要稍微修改解析源代码的步骤。

img_divs = soup.select_one("div.RichContent-inner").find_all("div", class_="RichText ztext")
img_urls = []

for img_div in img_divs:
    img_tags = img_div.find_all("img")
    img_urls += [img_tag["src"] for img_tag in img_tags]

print(img_urls)

修改后的代码中，我们首先获取到回答内容下所有的RichText节点，随后在其中查找所有的img节点，最后将所有的图片链接添加到一个列表中。```python

path = "D:/zhihu_images/"

for i, img_url in enumerate(img_urls):
    img_name = path + str(i) + ".jpg"
    urllib.request.urlretrieve(img_url, img_name)
    print("第%d张图片下载完成！" % i)

接下来的爬取、修改以及保存流程与之前相同，只是在获取到的img_urls中已经包含了所有的图片链接，所以无需再次爬取。