MySQL实现批量推送数据到Mongo

MySQL是一款常用的关系型数据库，而MongoDB则是一款常用的非关系型数据库。如果需要将MySQL中的数据批量推送到MongoDB中，可以通过以下步骤进行实现：

1.安装MongoDB的驱动程序

首先需要在本地计算机上安装MongoDB的驱动程序，可以通过以下命令进行安装（假设使用的是Python3）：

pip3 install pymongo

如果需要连接远程的MongoDB服务器，还需要安装DNS-Python：

pip3 install dnspython

2.建立MySQL和MongoDB之间的连接

需要使用Python创建一个连接对象来连接MySQL和MongoDB之间的连接。可以通过以下代码来实现：

import pymongo
import mysql.connector

# 在MySQL数据库中创建连接对象
mysql_conn = mysql.connector.connect(
        host="localhost",
        user="root",
        password="123",
        database="testdb"
)

# 在MongoDB数据库中创建连接对象
mongo_conn = pymongo.MongoClient(
        "mongodb+srv://<username>:<password>@<cluster-url>/testdb?retryWrites=true&w=majority",
        ssl=True,
        ssl_cert_reqs='CERT_NONE',
        connect=False
)

# 选择MongoDB数据库中的对应collection
mongo_db = mongo_conn["testdb"]
mongo_collection = mongo_db["test_collection"]

需要注意的是，这里的MongoDB的连接字符串以及MySQL连接参数需要进行相应的修改。

3.从MySQL数据库中获取数据

可以使用MySQL的Cursor对象来遍历MySQL中的数据，然后将其添加到list中进行储存，如下所示：

# 创建MySQL Cursor对象来遍历数据
mysql_cursor = mysql_conn.cursor()

# 查询MySQL中的所需数据
mysql_cursor.execute("SELECT * FROM test_table")

# 遍历查询结果，将其添加到list中
mylist = []
for row in mysql_cursor:
    mylist.append({"id": row[0], "name": row[1], "age": row[2]})

4.将数据推送到MongoDB

使用Pymongo的insert_many()方法将数据批量推送到MongoDB数据库中，如下所示：

# 将数据批量插入到MongoDB中
mongo_collection.insert_many(mylist)

这样就可以将MySQL中的数据批量地推送到MongoDB中进行储存了。

示例1：

假设MySQL中有以下数据：

id | name | age
---|------|----
1  | Tom  | 20
2  | Jack | 32
3  | Lily | 25

使用以上代码可以将这3条数据批量推送到MongoDB中。

示例2：

假设需要定时地将MySQL中的数据推送到MongoDB中，可以使用Python的定时任务进行实现：

import schedule
import time

# 定义定时任务函数
def push_data():
    # 上述第2-4步代码

# 定义定时任务，每隔1个小时执行一次
schedule.every(1).hours.do(push_data)

# 循环执行定时任务
while True:
    schedule.run_pending()
    time.sleep(1)

以上代码可以让程序每隔1个小时自动执行一次批量数据推送操作。