python 处理气象站点csv数据以及简单excel读写操作

 一、引言

最近在进行大创项目的结题工作,一开始的数据处理过程,是用C#处理的,想着最近在学python,就试了试用python做了下。下面来分享下我的处理流程,目前还处于初学阶段,有不足之处欢迎指点。

 

二、数据介绍

先看一下要处理的数据。

python 处理气象站点csv数据以及简单excel读写操作python 处理气象站点csv数据以及简单excel读写操作.

 

 

下面是具体20190101的站点数据,只列出了其中一部分。

 python 处理气象站点csv数据以及简单excel读写操作

 

 

 

 两个文件夹分别 为19年和20年的全国气象站点数据,目标是要从这里面筛选出江苏省内的以及周边区域邻近的站点的PM2.5数据,并计算其月均值数据。我将要筛选的站点数据存储在了一个excel表格里,样式如下:(数据只截取了一小部分)

python 处理气象站点csv数据以及简单excel读写操作

 

 

三、数据处理

既然要筛选数据,那第一步就是将需要的站点编码读取出来。简单介绍下我的数据处理流程,读取目标站点,筛选天小时数据,计算日均值,计算月均值。

1.读取站点编码

站点存储在excel文件里,因此要使用python来操作excel文件,这里我引用了openpyxl,下面是处理的代码(跳转至完整代码

第一步导入openpyxl,

import openpyxl as xl

使用openpyxl库的load_workbook()来获得存储站点的excel文件

    wb = xl.load_workbook(filename)

因为数据都是存储在工作簿的表里的,因此我们要获得工作簿里的表,也就是Sheet1,

python 处理气象站点csv数据以及简单excel读写操作

 

 

    sheet = wb['Sheet1']

在开始读数据前,先定义一个用于存储站点数据的列表,这里我定义的初始列表里有两个值,'date','hour',这两个值用来标识所读取的PM2.5的数据的生产时间。

    station_id = ['date', 'hour']

下面是开始读数据,遍历sheet1的每一行,将数据存储在station_id里,

    for row in range(2, sheet.max_row+1):
        cell = sheet.cell(row, 2)
        station_id.append(cell.value)

因为我这里存放目标站点编号的表格里存在多个空行,因此会station_id的后面会存放很多None(excel里的单元格为空的话就是None)

python 处理气象站点csv数据以及简单excel读写操作

 

 

 于是需要把station_id里的多余的None去除

    if(None in station_id):
        index = station_id.index(None)
        del station_id[index:]

 

将上面的代码封装在一个函数里,完整代码如下:

import openpyxl as xl


'''
    获得站点坐标,此处是以站点存储在excel里为例,并且是存放在一列,且是在第2列
'''


def get_station_id(filename):
    # 获得路径对应的工作簿
    wb = xl.load_workbook(filename)
    # 获得工作簿里的表
    sheet = wb['Sheet1']
    # 定义一个存储站点的数据列表
    station_id = ['date', 'hour']
    # 遍历表,将站点信息存储在list里
    for row in range(2, sheet.max_row+1):
        cell = sheet.cell(row, 2)
        station_id.append(cell.value)
    # 删除id_list中的空数据,因为有可能最大行数会超过excel的实际数据行数
    if(None in station_id):
        index = station_id.index(None)
        del station_id[index:]
    return station_id

以上代码我单独放在了get_station_id.py文件里

 

2.筛选目标站点的数据

简单说下处理流程,先是获得存放上面两个csv文件夹的文件夹,也叫父级路径,再获得文件夹下的所有csv文件(这一步要尽量保证没有其他csv文件),最后是遍历读取需要的数据并写入一个csv,存放着天小时的目标站点的PM2.5数据。(跳转至完整代码

第一步,通过pathlib的Path来获得父级路径。导入pathlib 下的Path类,以及接下来要进行处理csv文件所需的csv库

from pathlib import Path
import csv

 

获得存放csv文件夹的路径,并定义一个要存放数据的csv文件路径,

csv_dir = Path(r'F:CollegeFileRecv大创项目站点数据201901-202012')
target = r'F:CollegeFileRecv大创项目19-20-hours.csv'

获得路径下的所有csv文件

csv_list = list(csv_dir.rglob('*.csv'))

定义一个写入流,做好写入数据的准备,这里用dictwriter的写入方法,是因为在要处理的数据文件中,有的站点在某一年或某几个月中并不存在,这样处理更为准确方便。

with open(target, 'w', newline='') as out_file:
   writer
= csv.DictWriter(out_file, fieldnames=station_id)

接下来是写入列头,将station_id写入要存放数据的csv(target)的第一行:

    writer.writeheader()

遍历读取站点csv文件,筛选数据写入target,

    for filename in csv_list:
            with open(filename, 'r') as file:
                # 将行数据映射到字典
                reader = csv.DictReader(file)

                for row in reader:
                    # 判断当前数据是否是PM2.5
                    if row['type'] == datatype:
                        # 查找对应station_id的数据,并存储在一个list里
                        # data = {}
                        # for id in station_id:
                        #     if id in row:
                        #         data[id] = row[id]
                        data = {id: row[id] for id in station_id if id in row}
                        writer.writerow(data)

这一步数据处理成功,我将其封装在一个方法里,完整代码如下:

from pathlib import Path
import csv
import get_station_id 
#
""" 获得指定站点编号的数据,并写入一个csv文件 输入的参数分别是 csv_dir----csv文件所在的目录的路径, 以及要写到目标文件的路径 target station_id 站点编号 """ def get_write_from_csv(csv_dir, target, station_id=['date', 'hour', '1141A'], datatype='PM2.5'): # 判断路径是否正确 if not csv_dir.is_dir(): return # 获得路径下所有的csv文件 csv_list = list(csv_dir.rglob('*.csv')) with open(target, 'w', newline='') as out_file: writer = csv.DictWriter(out_file, fieldnames=station_id) # 写入头,station_id writer.writeheader() # 遍历csv文件并选择数据写入target for filename in csv_list: with open(filename, 'r') as file: # 将行数据映射到字典 reader = csv.DictReader(file) for row in reader: # 判断当前数据是否是PM2.5 if row['type'] == datatype: # 查找对应station_id的数据,并存储在一个list里 # data = {} # for id in station_id: # if id in row: # data[id] = row[id] data = {id: row[id] for id in station_id if id in row} writer.writerow(data) print('successed') csv_dir = Path(r'F:CollegeFileRecv大创项目站点数据201901-202012') target = r'F:CollegeFileRecv大创项目19-20-hours.csv' # 存放着stationID的excel文件 filename = r'F:CollegeFileRecv大创项目1920.xlsx' # 获得stationid station_id = get_station_id.get_station_id(filename) get_write_from_csv(csv_dir, target, station_id)

 

3.对已筛选的数据进行计算日均值

观察一下数据构成,发现可以通过date这一列进行分组来进行计算日均值。(跳转至完整代码

python 处理气象站点csv数据以及简单excel读写操作

 

 谈到分组就想到了pandas的groupby函数,要得到日均值只要按date这列分组就行了,首先导入需要的库,

import pandas as pd
import numpy as np

读取已筛选好的csv数据

df=pd.read_csv(r'F:CollegeFileRecv大创项目target.csv')

将读取到的数据按date分组

day_group=df.groupby('date')

可以用下面的代码查看一下分组的结果,

for date,group in day_group:
    print(date)
    print(group)

python 处理气象站点csv数据以及简单excel读写操作

 

 

 接下来是对分组进行聚合求平均,并查看下聚合的结果

data=day_group.agg(np.mean)
print(data)

 

python 处理气象站点csv数据以及简单excel读写操作

 

 发现hour这列也被求平均了,这一列在接下来的处理中是不需要的,因此将它删去。

day_data=data.drop('hour',axis='columns')

将删去后的数据写入daydata.csv(存储日均值数据)

day_data.to_csv('daydata.csv')

完整代码如下:

import pandas as pd
import numpy as np
df=pd.read_csv(r'F:CollegeFileRecv大创项目target.csv')
day_group=df.groupby('date')
data=day_group.agg(np.mean)
day_data=data.drop('hour',axis='columns')
day_data.to_csv('daydata.csv')

 

4.计算月均值

对处理好的日均值数据来求月均值,首先是要将数据按月来归类,简单讲下我的思路,首先将数据按年分开分为19年和20年的数据。再对19和20年的数据按月分类聚合求均值。(跳转至完整代码

第一步,按年分割数据,

df=pd.read_csv('daydata.csv')
# 年份区开数据
data2019=df[df['date']<=20191231]
data2020=df[df['date']>=20200101]

第二步,对各年的按月分类聚合求均值。考虑到date这列的数据类型是数字,可以通过按条件筛选属于某一月的数据,

def get_month_data(data,month_start,month_end):
    month=data[(data['date']<month_end)&(data['date']>=month_start)]
#     这里聚合操作也将日期进行聚合了
    return month.agg(np.mean)

 

第三步,获得某年的月均值数据,并写入csv文件。考虑到0101到0201之间差了100,(实际上两个月之间最多只差31天)设置了步长为100的形式来获得月均值,

def write_month_data(year_data,outfilename,month_start=20190101,step=100):
    month_list=[]
#     获得每月均值数据,并添加到list里
    for num in range(12):
        month_data=get_month_data(year_data,month_start,month_start+step)
        month_list.append(month_data)
        month_start+=step
#     将list生成dataframe
    df=pd.DataFrame(month_list)
#     修改日期格式为201901这种年加月形式
    df['date']=df['date'].apply(lambda x: int(x/100))
    df.to_csv(outfilename)

下面是完整的代码

import pandas as pd
import numpy as np

df=pd.read_csv('daydata.csv')
# 年份区开数据
data2019=df[df['date']<=20191231]
data2020=df[df['date']>=20200101]


# data2020.agg(np.mean)
def get_month_data(data,month_start,month_end):
    month=data[(data['date']<month_end)&(data['date']>=month_start)]
#     这里聚合操作也将日期进行聚合了
    return month.agg(np.mean)
  
def write_month_data(year_data,outfilename,month_start=20190101,step=100):
    month_list=[]
#     获得每月均值数据,并添加到list里
    for num in range(12):
        month_data=get_month_data(year_data,month_start,month_start+step)
        month_list.append(month_data)
        month_start+=step
#     将list生成dataframe
    df=pd.DataFrame(month_list)
#     修改日期格式为201901这种年加月形式
    df['date']=df['date'].apply(lambda x: int(x/100))
    df.to_csv(outfilename)

       
month_start2019=20190101
month_start2020=20200101
step=100 #因为20190101-20190201=-100
write_month_data(data2019,'19month.csv',month_start2019,step)
write_month_data(data2020,'20month.csv',month_start2020,step)

结果图:

python 处理气象站点csv数据以及简单excel读写操作

 

 

 

结语:以上就是我使用python处理数据的全流程了,作为一个python新手,如有错误还请指点,感谢大家花费宝贵的时间来阅读。

 

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:python 处理气象站点csv数据以及简单excel读写操作 - Python技术站

(0)
上一篇 2023年4月2日
下一篇 2023年4月2日
合作推广
合作推广
分享本页
返回顶部