Python中scrapy下载保存图片的示例

下面是Python中scrapy下载保存图片的示例的完整攻略。

1. 创建项目

首先需要在终端中使用以下命令创建一个新的scrapy项目：

scrapy startproject scrapy_image_downloader

这将在当前目录下创建一个名为scrapy_image_downloader的文件夹，其中包含项目的初始目录结构。

1. 编写爬虫

在项目目录中，需要创建一个新的爬虫。可以使用以下命令生成：

scrapy genspider image_spider example.com

这将在spiders目录下创建一个名为image_spider.py的文件，并将其基于example.com网站初始化。现在需要编辑image_spider.py文件，包括导入所需的类和库，定义类，以及设置类的属性和方法。

下面是一个示例实现，在回调函数中解析包含图片链接的响应并下载每张图片：

import scrapy

class ImageSpider(scrapy.Spider):
    name = "image_spider"
    allowed_domains = ["example.com"]
    start_urls = ["http://www.example.com/images/"]

    def parse(self, response):
        for href in response.css("a::attr(href)").extract():
            url = response.urljoin(href)
            if any(extension in url for extension in [".jpg", ".jpeg", ".png", ".gif"]):
                yield scrapy.Request(url, callback=self.save_image)

    def save_image(self, response):
        path = response.url.split("/")[-1]
        self.logger.info("Saving image %s", path)
        with open(path, "wb") as f:
            f.write(response.body)

这个爬虫首先访问了指定的URL，然后使用CSS选择器抓取其中所有链接。对于每个链接，如果它是图片的URL，则使用save_image()方法将其保存到本地磁盘。

1. 运行爬虫

编辑完image_spider.py文件后，可以在该项目目录中使用以下命令启动爬虫：

scrapy crawl image_spider

这将启动爬虫并开始抓取指定URL的图片。

1. 示例1-下载并保存单个图片

下面是一个更详细的示例，可以演示如何下载并保存单个图片：

import scrapy

class SingleImageSpider(scrapy.Spider):
    name = "single_image_spider"
    allowed_domains = ["example.com"]
    start_urls = ["http://www.example.com/images/1.jpg"]

    def parse(self, response):
        self.logger.info("Saving image")
        with open("1.jpg", "wb") as f:
            f.write(response.body)

这个爬虫只访问了一个URL，即单个图片的URL。它使用了parse()方法直接将响应内容写入一个本地文件中。

1. 示例2-使用中间件进行图像保存

以下是另一个示例，使用中间件将多个图像保存到本地磁盘：

from scrapy import signals
from scrapy.exporters import JsonItemExporter
from scrapy.exceptions import DropItem
from PIL import Image

class ImageDownloaderPipeline(object):

    def process_item(self, item, spider):
        if "image_urls" not in item:
            return item

        images = []
        for image_url in item["image_urls"]:
            image_path = self.download_image(image_url)
            if image_path:
                images.append(image_path)
            else:
                raise DropItem("Failed to download image %s" % image_url)

        item["images"] = images
        return item

    def download_image(self, url):
        # Use appropriate downloader such as urllib2, httplib2,
        # requests, etc. depending on requirements
        pass

这个中间件将检查item是否有image_urls字段，如果有，则将这些图片URL下载并保存到本地磁盘。可以自定义download_image()方法中使用的网络文件下载器，以满足特定需求。

1. 总结

以上是Python中scrapy下载保存图片的示例攻略，提供了多种方法来下载和保存图片。关键是编写良好的爬虫和中间件，以及使用高效的网络文件下载器。对于大量的图片下载和保存，建议使用分布式下载技术来提高效率。