Python爬虫实战之爬取京东商城实例教程

爬虫框架的选择

在进行爬虫开发之前，我们需要选择一个适合自己的爬虫框架。常见的爬虫框架有Scrapy、BeautifulSoup、Selenium等。对于爬取京东商城这样的电商网站，我建议使用Scrapy框架，因为它可自动化流程，且可以轻松地应用在大型爬虫项目中。

准备工作

在进行爬虫开发之前，我们需要确定要爬取的网站、确定数据的处理方式和存储方式。在爬取京东商品信息时，我们可以使用Python的pandas库进行数据处理，使用MySQL数据库进行数据存储。

爬取数据

1. 抓取页码和商品信息

爬取京东商品信息时，我们需要先抓取商品页码，并通过循环抓取每个商品的信息。为此，我们需要定义一个Spider类和一个Item类。

import scrapy

class JdSpider(scrapy.Spider):
    name = 'jd'
    allowed_domains = ['jd.com']
    start_urls = ['https://search.jd.com/Search?keyword=python']

    def parse(self, response):
        # 获取总页数
        page = response.xpath('//div[@class="page-box"]')
        total_page = page.xpath('@data-total-page').extract()[0]
        for i in range(1, int(total_page) + 1):
            url = 'https://search.jd.com/Search?keyword=python&page={}'.format(i*2-1)
            yield scrapy.Request(url, callback=self.parse_page)

    def parse_page(self, response):
        # 抓取商品信息
        products = response.xpath('//div[@class="gl-item"]')
        for product in products:
            item = JdItem()
            item['name'] = product.xpath('div/div/a/@title').extract()[0].strip()
            item['price'] = product.xpath('div/div/strong/i/text()').extract()[0]
            item['comments'] = product.xpath('div/div/strong/a/text()').extract()[0]
            yield item

class JdItem(scrapy.Item):
    name = scrapy.Field()
    price = scrapy.Field()
    comments = scrapy.Field()

2. 数据处理

爬取完商品信息后，我们需要对数据进行处理。在这里，我们可以使用pandas库进行数据处理。将数据存储在pandas的DataFrame中，以便于数据分析和数据可视化。

import pandas as pd
from sqlalchemy import create_engine

class JdPipeline(object):

    def __init__(self):
        self.engine = create_engine('mysql://username:password@localhost:3306/database')
        self.df = pd.DataFrame(columns=['name', 'price', 'comments'])

    def process_item(self, item, spider):
        data = {'name': item['name'], 'price': item['price'], 'comments': item['comments']}
        self.df = self.df.append(data, ignore_index=True)
        return item

    def close_spider(self, spider):
        self.df.to_sql('jd_goods', self.engine, if_exists='replace', index=False)

3. 数据存储

爬虫数据处理完成后，我们需要将处理后的数据存储到MySQL数据库中。为此，我们需要在pipelines.py文件中定义一个JdPipeline类，将数据存储到MySQL中。

class JdPipeline(object):

    def __init__(self):
        self.engine = create_engine('mysql://username:password@localhost:3306/database')
        self.df = pd.DataFrame(columns=['name', 'price', 'comments'])

    def process_item(self, item, spider):
        data = {'name': item['name'], 'price': item['price'], 'comments': item['comments']}
        self.df = self.df.append(data, ignore_index=True)
        return item

    def close_spider(self, spider):
        self.df.to_sql('jd_goods', self.engine, if_exists='replace', index=False)

执行爬虫

在爬虫开发完成后，我们可以执行以下命令启动爬虫：

scrapy crawl jd

总结

在本文中，我们讲解了爬虫框架Scrapy的基本使用方法，以及如何爬取京东商城的商品信息，并使用pandas库进行数据处理和MySQL数据库进行数据存储。我们使用了Scrapy爬虫框架实现自动化抓取和数据处理，让爬虫的开发更加高效和便捷。