shell脚本操作mysql数据库删除重复的数据

当需要对MySQL数据库中的数据进行删除重复操作时，可以考虑使用Shell脚本来实现。以下是一个完整的攻略，包含步骤和示例说明。

步骤

1. 首先需要建立数据库连接，可以使用以下的代码段：

#!/bin/bash

HOSTNAME="localhost"
PORT="3306"
USERNAME="root"
PASSWORD="password"
DBNAME="mydatabase"

mysql -h ${HOSTNAME}  -P ${PORT} -u ${USERNAME} -p${PASSWORD} -D ${DBNAME}

其中，需要修改的是HOSTNAME、PORT、USERNAME、PASSWORD和DBNAME，分别指代MySQL主机名、MySQL端口号、用户名、密码和要操作的数据库。该代码段中使用的-p参数后面没有空格表示直接输入密码，否则需要手动输入密码。

1. 接下来，需要查询出要删除的重复数据的id。可以使用以下的代码段：

SELECT id FROM tablename GROUP BY columnname HAVING COUNT(*) > 1;

其中，tablename是要操作的表名，columnname是重复的列名。这条语句的作用是查询出重复数据的id。

1. 在查询出要删除的id之后，可以使用以下的代码段执行删除操作：

DELETE FROM tablename WHERE id IN (SELECT id FROM (SELECT id FROM tablename GROUP BY columnname HAVING COUNT(*) > 1) AS tmp);

与上一步中的查询语句类似，这条语句的作用是删除重复数据的id。

示例

以下示例说明如何使用Shell脚本来删除MySQL数据库中的重复数据。

假设有一个名为employees的数据库，其中有一个表employees_info存储着员工信息，表结构如下：

+----+-------+------+--------+
| id | name  | age  | salary |
+----+-------+------+--------+
|  1 | Alice |   25 |   5000 |
|  2 | Bob   |   30 |   6000 |
|  3 | Alice |   25 |   5000 |
|  4 | Carl  |   28 |   6500 |
|  5 | Alice |   25 |   5500 |
|  6 | Bob   |   30 |   6000 |
+----+-------+------+--------+

1. 连接数据库

使用如下代码段连接数据库：

#!/bin/bash

HOSTNAME="localhost"
PORT="3306"
USERNAME="root"
PASSWORD="password"
DBNAME="employees"

mysql -h ${HOSTNAME}  -P ${PORT} -u ${USERNAME} -p${PASSWORD} -D ${DBNAME}

1. 查询要删除的id

使用如下代码段查询重复数据的id：

SELECT id FROM employees_info GROUP BY name, age, salary HAVING COUNT(*) > 1;

以上语句将会返回：

+----+
| id |
+----+
|  1 |
|  3 |
|  5 |
|  2 |
|  6 |
+----+

可以看到，重复数据的id是1、3、5、2和6。

1. 删除重复数据

使用如下代码段删除重复数据：

DELETE FROM employees_info WHERE id IN (SELECT id FROM (SELECT id FROM employees_info GROUP BY name, age, salary HAVING COUNT(*) > 1) AS tmp);

以上语句将会删除表employees_info中的重复数据。

再次查询表employees_info，可以看到：

+----+-------+------+--------+
| id | name  | age  | salary |
+----+-------+------+--------+
|  1 | Alice |   25 |   5000 |
|  4 | Carl  |   28 |   6500 |
+----+-------+------+--------+

可以看到，表中已经没有重复数据。