使用Python编写爬虫的基本模块及框架使用指南

使用Python编写爬虫时，以下是常用的基本模块和框架：

基本模块

requests

requests是一个Python库，允许我们向一个URL发送HTTP请求，并得到相应的结果。它是用Python编写的，可以为我们处理HTTP相关任务，如GET和POST请求，解析HTTP数据并复制cookies。

import requests

response = requests.get('https://www.baidu.com')
print(response.text)

beautifulsoup4

beautifulsoup4是一个Python库，它可以从HTML和XML文件中提取数据。它提供了一种非常优雅的方法来解析HTML，用于爬取网页或其他文档相关的信息。

from bs4 import BeautifulSoup
import requests

response = requests.get('https://www.baidu.com')
soup = BeautifulSoup(response.text, 'html.parser')
print(soup.title.string)

selenium

selenium是一个自动化测试工具，可以模拟用户操作，如打开网页、点击按钮等。它可以通过编程语言指定操作步骤，模拟用户操作的场景，为爬虫提供了很大的便利。

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://www.baidu.com')
print(driver.title)
driver.quit()

框架

Scrapy

Scrapy是一个用Python编写的Web爬取框架，为开发者提供了一种基于组件方式的机制来实现Web爬取，并提供了很多原生的爬取功能，如自动下载和管理网页。

以下是一个简单的Scrapy爬虫示例：

import scrapy

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
        'http://quotes.toscrape.com/page/2/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }

        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

以上是使用Python编写爬虫的基本模块及框架使用指南。