python 实现一个贴吧图片爬虫的示例

作为一个网站的作者，我很高兴为大家分享一下用Python实现一个贴吧图片爬虫的攻略，希望对大家有所帮助。

着手准备

在开始编写代码之前，需要确认自己已经安装好Python和相关的第三方库，如requests、BeautifulSoup等。如果还没有安装这些库，可以在命令行中输入以下命令进行安装：

pip install requests
pip install beautifulsoup4

分析目标网页

首先，我们需要明确所要爬取的目标网页的结构，并通过浏览器的开发者工具来确定需要获取的信息的标签和属性。

我们以百度贴吧中 “美腿” 贴吧为例（https://tieba.baidu.com/f?kw=美腿），打开该页面并随便浏览几页后，我们会发现所有的图片都存放在 a 标签中，其中图片的地址是在 img 标签的 src 属性中。所以我们需要爬取的信息就是所有 a 标签中 img 标签的 src 属性。

具体的代码实现过程如下：

import requests
from bs4 import BeautifulSoup

url = 'https://tieba.baidu.com/f?kw=美腿'
html = requests.get(url).text

soup = BeautifulSoup(html, "html.parser")
links = soup.find_all('a')

for link in links:
    img = link.find('img')
    if img:
        src = img['src']
        print(src)

下载图片

得到图片的地址后，我们需要将图片下载到本地。我们可以使用Python的requests库来发送图片的下载请求，并通过open()函数将图片保存至本地。

具体的代码实现过程如下：

import requests
from bs4 import BeautifulSoup

url = 'https://tieba.baidu.com/f?kw=美腿'
html = requests.get(url).text

soup = BeautifulSoup(html, "html.parser")
links = soup.find_all('a')

for link in links:
    img = link.find('img')
    if img:
        src = img['src']
        r = requests.get(src)
        with open('image/'+src.split('/')[-1], 'wb') as f:
            f.write(r.content)
            print(src.split('/')[-1] + ' downloaded.')

以上代码中，我们使用了with语句和open()函数来创建了一个名为'image'的文件夹，并将下载的图片保存至该文件夹，其中 'wb' 表示二进制写入方式。在写入文件时，我们使用了该图片url中最后一个反斜线后面的内容来命名文件，这部分内容可以通过 split() 函数进行分离。

再举一个例子，在GitHub上爬取头像图片，代码如下：

import requests
from bs4 import BeautifulSoup

url = 'https://github.com/your_username'
html = requests.get(url).text

soup = BeautifulSoup(html, "html.parser")
links = soup.find_all('img')

for link in links:
    src = link['src']
    if src.startswith('https://avatars.githubusercontent.com'):
        r = requests.get(src)
        with open(src.split('/')[-1], 'wb') as f:
            f.write(r.content)
            print(src.split('/')[-1] + ' downloaded.')

在以上代码中，我们首先获取了我们GitHub页面的地址，在此基础上获取了页面中所有的图片标签，并通过循环遍历来获取每一张图片的url地址。和之前的贴吧图片爬虫类似，我们使用requests发送获取图片的请求，并使用open()函数来创建本地图片，并保存处理到的URL地址中的图片内容。

希望通过以上两个例子的介绍，能对大家理解用Python实现一个贴吧图片爬虫有所助益。