如何在django中运行scrapy框架

关于在 Django 中运行 Scrapy 框架的攻略，一般可以按下列步骤操作：

步骤一：创建项目

首先，在终端中使用以下命令创建 Django 项目：

django-admin startproject myproject

步骤二：添加应用程序

接下来，您将需要为您的 Django 应用程序添加名称，并将其作为 Scrapy 爬虫的容器。在命令行中，使用以下命令添加应用程序：

python manage.py startapp scraper

步骤三：创建爬虫

在scraper应用目录下创建爬虫。例如，您可以在 scraper/spiders 目录下创建 myspider.py 文件，并使用以下代码来编写您的 Scrapy 爬虫：

from scrapy import Spider
from scrapy.http import Request

class MySpider(Spider):
    name = 'myspider'
    allowed_domains = ['example.com']
    start_urls = [
        'http://www.example.com/page1',
        'http://www.example.com/page2',
    ]

    def parse(self, response):
        # 解析页面
        pass

步骤四：修改Django配置

项目根目录下存在settings.py，我们在其中的INSTALLED_APPS中增加我们创建的应用名scraper

INSTALLED_APPS = [
    ...,
    'scraper',
]

步骤五：Scrapy设置

在 Django 项目根目录下新建 scrapy.cfg 配置文件，并设置一些 Scrapy 相关选项：

[settings]
default = myproject.settings

[deploy]
project = myproject

[scrapy]
django_settings_module = myproject.settings

总结

完成以上步骤后，就可以运行 Scrapy 爬虫，获取数据了。例如，在命令行中运行以下命令：

scrapy crawl myspider

本文中，作者还给出了两个帮助理解的示例：

• 示例一：

在 scraper 应用程序中创建文件 views.py，添加以下代码：

from scrapy.selector import Selector
from scrapy.http import HtmlResponse
from scrapy.http import Request

class ScrapyView(View):
    def get(self, request):
        urls = ['http://www.example.com/page1', 'http://www.example.com/page2']
        for url in urls:
            request = Request(url, callback=self.parse_page)
            yield request

    def parse_page(self, response):
        hxs = Selector(response)
        title = hxs.xpath('//title/text()').extract_first()
        return HttpResponse(title)

如您所见，该视图用于处理 HTTP GET 请求，并在response中抓取 Web 页面。然后，使用 Scrapy 提取页面的标题，并返回该标题作为 HTTP 响应的一部分。

• 示例二：

在scrapy.cfg文件中，您将需要添加 Scrapy 设置：

[settings]
default = myproject.settings

[deploy]
project = myproject

[scrapy]
django_settings_module = myproject.settings

这个设置允许 Scrapy 访问和使用 Django 设置模块中的常量、配置值和其他设置。保持配置文件和 Scrapy 爬虫的设置一致是很重要的，这样你可以确保它们在运行时都有正确的环境变量和设置值。

以上就是完整的在 Django 中运行 Scrapy 框架的攻略，希望能帮助到你。