基于Python 从mysql表读取千万数据实践

 

by:授客 QQ：1033553122

场景：

 

有以下两个表，两者都有一个表字段，名为waybill_no，我们需要从tl_waybill_bar_record表读取1000w条唯一的waybill_no，然后作为INSERT SQL语句的一部分，填充到ts_order_waybill的waybill_no字段中

 

tl_waybill_bar_record

 

ts_order_waybill

 

另外tl_waybill_bar_record表waybill_no有部分重复

 

实现思路

思路1、利用MySql的LIMIT offset, length分页功能+ORDER BY primary_key按主键排序，循环读取数据，然后解析读取的数据，直到满足条件停止

 

例子：按5000条记录进行分页，循环2000000，从第0条记录开始，按seq_id主键升序排序，每次从不同的分页读取5000条记录

for i in range(0, 2000000):

query =  "SELECT waybill_no, seq_id FROM ts_order_waybill ORDER BY seq_id LIMIT '%s', 5000" % str(i*5000)

result = test_platform_db.select_many_record(query)

……(后续处理)

 

说明：这种方式，有一定的局限性，分页数量似乎会受限制，似乎只能8000多页，另外当offset达一定值(55w)的样子，似乎会变得很卡，数据量较少的情况下，可以考虑这么做

 

注意：这里如果不适用ORDER BY语句，可能在不同分页取数据时，会取到重复的数据

 

 

思路2、先SELECT MIN(primary_key) 查询最小主键值key_min_value，然后每次查询时加WHERE primary_key>=key_min_value，并且加ORDER BY primary_key按主键升序排序，同时使用LIMIT length限制每次返回数据量大小

 

min_seq_id =  '18e23705987643f9b84cd8c4c3efc47868944d88cb71480ea4b7659d2c9c6cba'

for i in range(0, 2000000):

query =  SELECT waybill_no, seq_id FROM ts_order_waybill WHERE seq_id>='%s' ORDER BY seq_id LIMIT 5000" % min_seq_id

result = test_platform_db.select_many_record(query)

……(后续处理)

 

 

问题

跑程序的时候，经常会突然“卡死”，可能是Python 类库自身原因，也可能是数据库请求过于频繁，这样会导致获取的结果丢失，需要重头开始跑

 

解决方法：

一边跑，一边写入本地文件，同时输出上次读取的记录的位置(思路2来说，就是那个最小主键值)，然后重新跑程序时，替换下初始值即可。

 

关键代码

 

test_db = MyDB('MYDB')

 

file_handler = open('./result/waybill_no.txt', 'r+', encoding='utf-8')

 

waybill_no_set = set() # 用于存储获取的waybill_no

 

# 读取上次获取的数据

line = file_handler.readline()

line = line.strip() # 去掉换行符

while line:

    waybill_no_set.add(line)

    line = file_handler.readline()

    line = line.strip()

 

# 初始最小主键值

min_seq_id = '18e23705987643f9b84cd8c4c3efc47868944d88cb71480ea4b7659d2c9c6cba'

 

count = len(waybill_no_set) # 初始化以读取的waybill_no总数

for i in range(0, 2000000):

    query =  "SELECT waybill_no,seq_id FROM ts_order_waybill WHERE seq_id>='%s' ORDER BY seq_id LIMIT 5000" % min_seq_id

    result = test_db.select_many_record(query)

    if result[0] and result[1]:

        for item in result[1]:

            waybill_no = item[0]

            if waybill_no not in waybill_no_set:

                waybill_no_set.add(waybill_no)

                min_seq_id = item[1]

 

                count += 1

                print(count)

                print(min_seq_id)  # 记录上次读取的“最后位置”

 

                file_handler.write(waybill_no)

                file_handler.write('\n')

                file_handler.flush()

 

 

    print('已获取waybill_no总数：',  count)

    if count > 10000000:

        break

 

# 插入数据

for waybill_no in waybill_no_set:

time.sleep(0.1)

    insert_sql = "insert into `tl_waybill_bar_record` (`waybill_no`, `op_code`, `bar_Scan_Tm`, `ows_remark`, `stay_why_code`, `extend_attach1`, `extend_attach2`, `extend_attach3`, `extend_attach4`, `extend_attach5`, `op_name`, `dist_name`, `outside_name`, `old_waybill_no`, `courier_code`, `stay_why_name`, `create_time`) " \

       "values('%s','31','2018-05-09 20:02:33','广州市',NULL,NULL,NULL,NULL,NULL,NULL,NULL,NULL,NULL,NULL,NULL,NULL,'2018-05-05 15:56:09');" % waybill_no

test_db.execute_insert(insert_sql, '')

    count = count + 1

    print(waybill_no)

    print(count)