python抓取网页中的图片示例

针对python抓取网页中的图片，我可以提供以下完整攻略：

一、安装相关库

首先，需要在本地python环境中安装一些相关的库，包括：

• requests：用于发送HTTP请求，获取网页的内容
• beautifulsoup4：用于解析HTML文档，提取需要的信息
• urllib：用于下载图片到本地

可以通过以下命令进行安装：

pip install requests beautifulsoup4 urllib3

二、分析网页结构

接下来，需要分析所要抓取的网页的结构，找到其中包含图片的元素和图片的地址。

可以通过浏览器的开发者工具（比如Chrome的“检查”功能）来查看网页结构，找到包含图片的HTML元素和图片的地址。

三、编写抓取代码

有了前两步的准备之后，就可以编写Python的抓取代码了。具体的步骤包括：

1. 使用requests库发起HTTP请求，获取网页的内容。
2. 使用beautifulsoup4解析HTML文档，找到包含图片的元素和图片的地址。
3. 使用urllib将图片下载到本地。

下面是一个简单的示例代码，用于抓取douban.com首页中的所有图片：

import requests
from bs4 import BeautifulSoup
import os
import urllib

# 获取网页内容
url = 'https://www.douban.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

# 提取所有图片
imgs = soup.find_all('img')

# 保存图片到本地
for img in imgs:
  src = img.get('src')
  if src:
    image_name = os.path.basename(src)
    urllib.request.urlretrieve(src, image_name)
    print('downloaded:', image_name)

在这个示例代码中，我们首先使用requests库发起一个HTTP请求，获取douban.com的网页内容。接着使用beautifulsoup4解析HTML文档，找到其中所有包含图片的元素。最后使用urllib将这些图片下载到本地。

除了获取所有图片之外，还可以通过beautifulsoup4的属性选择器，针对网页中特定的图片进行抓取。比如以下示例代码，用于抓取豆瓣电影中的所有海报图片：

import requests
from bs4 import BeautifulSoup
import os
import urllib

# 获取网页内容
url = 'https://movie.douban.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

# 提取海报图片
posters = soup.select('div.item > a > img')

# 保存图片到本地
for poster in posters:
  src = poster.get('src')
  if src:
    image_name = os.path.basename(src)
    urllib.request.urlretrieve(src, image_name)
    print('downloaded:', image_name)

在这个示例代码中，我们使用了beautifulsoup4的属性选择器，通过选择特定的HTML元素，并找到其中包含的图片地址。接着使用urllib将这些图片下载到本地。