如何存储爬取的数据？

下面是详细的存储爬取的数据的攻略：

1.选择数据库

首先，需要选择一个存储爬取数据的数据库。常见的数据库有MySQL、SQLite、MongoDB等。不同的数据库有不同的适用场景，选择时需要考虑数据量、读写频率、数据类型等因素。例如，如果数据量比较大，可以选择MongoDB，其优势在于处理大量非结构化数据时速度比较快。

2.创建数据库表

在选择好数据库后，需要创建一个表来存储爬取的数据。在创建表的时候，需要根据具体需求来设计表结构，包括表名、字段名、数据类型、键值、外键等。例如，如果我们要爬取一些商品的信息（比如商品名称、价格、图片等），可以创建一个goods表，包括字段名id（主键）、name、price、image等。

3.将数据存入数据库

在爬虫程序中，爬取到的数据可以通过不同的方式存入数据库。常见的方式有ORM框架和SQL语句。ORM框架可以简化数据库操作，提高开发效率，常见的ORM框架包括Django、SQLAlchemy等。而SQL语句则更灵活，可以直接执行一些高级的数据库操作。

下面是两个示例，展示如何通过ORM框架和SQL语句将数据存入MySQL数据库中：

示例一：使用Django ORM框架

import pymysql
pymysql.install_as_MySQLdb()
import MySQLdb

from django.db import models, connections

class Goods(models.Model):
    id = models.IntegerField(primary_key=True)
    name = models.CharField(max_length=100)
    price = models.FloatField()
    image = models.CharField(max_length=200)

    class Meta:
        db_table = 'goods'

def save_to_mysql(data_list):
    connection = connections['default']
    cursor = connection.cursor()
    for data in data_list:
        goods = Goods(id=data['id'], name=data['name'], price=data['price'], image=data['image'])
        goods.save(using='default')
    cursor.close()
    connection.close()

示例二：使用SQL语句

import pymysql

def save_to_mysql(data_list):
    db = pymysql.connect(host='localhost', user='root', password='password', database='test', port=3306)
    cursor = db.cursor()
    for data in data_list:
        sql = '''
        insert into goods(id, name, price, image) values ({}, "{}", {}, "{}") 
        '''.format(data['id'], data['name'], data['price'], data['image'])
        cursor.execute(sql)
    db.commit()
    cursor.close()
    db.close()

以上就是存储爬取数据的攻略，希望可以帮助到你。