scrapy+flask+html打造搜索引擎的示例代码

下面我将为您详细讲解“Scrapy+Flask+HTML打造搜索引擎的示例代码”的完整攻略。

1. Scrapy爬虫框架

Scrapy是一个Python编写的快速高效的爬虫框架，可以快速和灵活地从网站抓取信息。以下是使用Scrapy构建爬虫的示例代码：

import scrapy

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
        'http://quotes.toscrape.com/page/2/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }

        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

这个示例代码定义了一个名为QuotesSpider的爬虫类，从指定的网址开始抓取信息。使用CSS选择器解析HTML文档，获取所需信息并将其保存在一个字典中。需要注意的是，parse方法必须返回一个可迭代的对象，以便后续处理。

2. Flask应用框架

Flask是一个轻量级的Python Web框架，可以快速构建Web应用程序。以下是使用Flask构建应用程序的示例代码：

from flask import Flask

app = Flask(__name__)

@app.route('/')
def hello():
    return 'Hello, World!'

if __name__ == '__main__':
    app.run()

这个示例代码定义了一个应用程序，当访问根目录时返回字符串“Hello, World!”。使用装饰器@app.route指定路由和处理函数。

3. HTML模板渲染

HTML模板渲染是将动态数据与HTML模板相结合以生成动态Web页面的过程。以下是使用Jinja2模板引擎渲染HTML模板的示例代码：

<!DOCTYPE html>
<html>
  <head>
    <title>{{ title }}</title>
  </head>
  <body>
    <h1>{{ heading }}</h1>
    <ul>
      {% for item in items %}
        <li>{{ item }}</li>
      {% endfor %}
    </ul>
  </body>
</html>

这个示例代码定义了一个HTML模板，使用占位符和控制结构从外部参数中获取数据。使用Jinja2模板引擎的语法可以在运行时动态生成HTML内容。

4. 示例代码

使用Scrapy、Flask和Jinja2模板引擎构建搜索引擎的完整示例代码如下：

from flask import Flask, render_template
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
from myproject.spiders.quotes_spider import QuotesSpider

app = Flask(__name__)

@app.route('/')
def home():
    process = CrawlerProcess(get_project_settings())
    items = process.crawl(QuotesSpider)
    process.start()

    return render_template('home.html', items=items)

if __name__ == '__main__':
    app.run()

这个示例代码启动Scrapy爬虫，爬取Quotes网站上的名言，并将其数据传递给使用Jinja2模板引擎渲染的HTML模板。当访问根目录时返回渲染后的HTML页面。