MySQL如何快速创建800w条测试数据表

创建大量测试数据对于开发和测试人员来说是非常有用的。本篇将介绍如何使用MySQL快速创建800万条测试数据表。下面是完整攻略：

1. 准备工作

首先，需要准备好MySQL环境，并保证你有足够的权限在MySQL中创建表和载入数据。另外，需要安装一个开源的工具——Faker库。

Faker库是一个用来生成随机数据的工具，可以用于生成姓名、地址、电子邮件等随机字符串，并且支持多种语言，包括英语，中文等。

安装Faker库的方法：

pip install Faker

2. 创建测试数据表

接下来，我们将使用Python脚本来生成800万条数据并将数据载入MySQL中。

以下是示例代码：

from faker import Faker
import mysql.connector

# 连接数据库
mydb = mysql.connector.connect(
    host="localhost",
    user="yourusername",
    password="yourpassword",
    database="yourdatabase"
)

# 创建数据表
mycursor = mydb.cursor()
mycursor.execute("CREATE TABLE users (id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(255), email VARCHAR(255))")

# 插入数据
faker = Faker()
for i in range(8000000):
  name = faker.name()
  email = faker.email()
  sql = "INSERT INTO users (name, email) VALUES (%s, %s)"
  val = (name, email)
  mycursor.execute(sql, val)

  if i % 1000 == 0:
    mydb.commit()
    print("Inserting rows ", i, "-", i + 999, " to the database.")

# 提交更改
mydb.commit()
print(mycursor.rowcount, "records inserted.")

如上代码所示，我们首先使用mysql.connector模块连接MySQL数据库。然后创建一个表示users表的mycursor游标对象，并使用execute()方法向MySQL数据库中创建了一个测试数据表。接着，我们使用Faker库来生成随机数据，并使用INSERT语句将这些数据插入到MySQL表中。

在这个示例中，我们每次插入1000条数据，实现批量插入的效率，减少了频繁的SQL提交操作，从而提高了数据表的创建速度。

3. 示例说明

下面给出两个示例说明：

示例一

首先，我们运行上述Python脚本来创建数据表。在终端中运行以下代码：

python create_table.py

接着我们在MySQL中检查users表是否创建成功，运行以下SQL语句：

DESCRIBE users;

我们可以看到如下结果：

+-------+--------------+------+-----+---------+----------------+
| Field | Type         | Null | Key | Default | Extra          |
+-------+--------------+------+-----+---------+----------------+
| id    | int(11)      | NO   | PRI | NULL    | auto_increment |
| name  | varchar(255) | YES |     | NULL    |                |
| email | varchar(255) | YES |     | NULL    |                |
+-------+--------------+------+-----+---------+----------------+

上述输出说明我们已经成功创建了具有3列的名为users的表。其中id列是主键，类似的，name和email是varchar类型的数据，无索引和默认值。

接着，我们可以使用以下命令行向MySQL数据库中插入2条记录：

INSERT INTO users(name, email) VALUES ('Hanna Hem', '[e-mail]'), ('Macie Cobb', '[e-mail]');

之后我们可以使用以下命令行来查询这两个记录：

SELECT * FROM users;

我们可以看到输出结果如下：

+----+---------------+----------------------+
| id | name          | email                 |
+----+---------------+----------------------+
|  1 | Hanna Hem     | [e-mail]    |
|  2 | Macie Cobb    | [e-mail] |
+----+---------------+----------------------+

示例二

在本示例中，我们使用命令行来生成800万条数据并将其载入到MySQL的users表中。打开终端并输入以下命令：

$ faker --help

输出告诉我们如何使用faker命令创建各种类型的随机数据。接着，我们使用以下命令生成800万条随机数据：

$ faker iterate 8000000 | faker "name,email" | tr ',' '\t' > data.tsv

我们得到的结果是一个以TAB分隔符分隔的文件，这个文件可以轻松地转换为SQL格式的INSERT语句。下面代码将从data.tsv文件中读取数据，并将其插入到MySQL中。运行以下Python脚本：

import csv
import mysql.connector

mydb = mysql.connector.connect(
  host="localhost",
  user="myusername",
  password="mypassword",
  database="mydatabase"
)

mycursor = mydb.cursor()

with open('data.tsv', newline='') as csvfile:
  reader = csv.reader(csvfile, delimiter='\t')
  sql = "INSERT INTO users (name, email) VALUES (%s, %s)"
  for row in reader:
    val = (row[0], row[1])
    mycursor.execute(sql, val)

mydb.commit()
print("Imported", mycursor.rowcount, "records.")

类似于示例一，该示例会创建一个users表，只是这次使用了数据生成命令行和TSV读取脚本，以避免直接使用Faker库生成大量的无用数据。

4. 总结

在本文中，我们介绍了如何使用python和Faker库，生成800万条随机数据以及如何将它们载入到MySQL中。这可以帮助开发人员在没有真实数据的情况下测试他们的应用程序。另外，注意到对于大数据量，批量提交插入语句是一个很好的优化方式，可以加快数据在数据库中的存储操作。