Pandas常用的读取和保存数据的函数使用(csv,mysql,json,excel)

Pandas是Python中非常常用的数据分析和处理库,可以很方便地完成各种操作。其中读取和保存数据的函数使用是比较常用的功能,下面就对Pandas常用的读取和保存数据的函数使用进行详细的讲解。

读取数据

读取csv文件

Pandas中用于读取csv文件的函数是read_csv(),使用方法如下:

import pandas as pd

data = pd.read_csv('data.csv', encoding='utf-8')

其中data.csv是要读取的文件路径,encoding参数是指定编码方式,默认是utf-8

读取MySQL数据库

Pandas中用于读取MySQL数据库的函数是read_sql_query()read_sql_table(),使用方法如下:

import pandas as pd
import pymysql

conn = pymysql.connect(host='localhost', user='root', password='123456', database='test', charset='utf8')
sql = 'select * from students'
data = pd.read_sql_query(sql, conn)

其中pymysql是Python的MySQL数据库操作库,需要先安装;conn是连接MySQL数据库的对象,需要提供MySQL的主机名、用户名、密码、数据库名、字符集等信息;sql是要执行的查询语句,read_sql_query()函数会根据该语句从MySQL中读取数据。

读取JSON文件

Pandas中用于读取JSON文件的函数是read_json(),使用方法如下:

import pandas as pd

data = pd.read_json('data.json', encoding='utf-8')

其中data.json是要读取的文件路径,encoding参数是指定编码方式,默认是utf-8

读取Excel文件

Pandas中用于读取Excel文件的函数是read_excel(),使用方法如下:

import pandas as pd

data = pd.read_excel('data.xlsx', sheet_name='Sheet1', encoding='utf-8')

其中data.xlsx是要读取的Excel文件路径,sheet_name参数是指定要读取的工作表名称,默认是第一个工作表,encoding参数是指定编码方式,默认是utf-8

保存数据

保存为csv文件

Pandas中用于保存为csv文件的函数是to_csv(),使用方法如下:

import pandas as pd

data = pd.read_csv('data.csv', encoding='utf-8')
data.to_csv('new_data.csv', index=False, encoding='utf-8')

其中new_data.csv是要保存的文件路径,index参数是指定是否保存索引列,默认是保存,encoding参数是指定编码方式,默认是utf-8

保存到MySQL数据库

Pandas中用于保存到MySQL数据库的函数是to_sql(),使用方法如下:

import pandas as pd
import pymysql

conn = pymysql.connect(host='localhost', user='root', password='123456', database='test', charset='utf8')
data = pd.read_csv('data.csv', encoding='utf-8')
data.to_sql('students', conn, index=False, if_exists='replace')

其中conn是连接MySQL数据库的对象,students是要保存到的表名,index参数是指定是否保存索引列,默认是保存,if_exists参数是指定如果表已存在时的处理方式,可以选择replace(替换)或append(追加)。

参考资料:

Pandas官方文档

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Pandas常用的读取和保存数据的函数使用(csv,mysql,json,excel) - Python技术站

(0)
上一篇 2023年5月14日
下一篇 2023年5月14日

相关文章

  • Pandas的数据过滤实现

    Pandas是Python数据分析和处理的重要库,在数据分析过程中,对数据进行过滤是常见的操作之一。下面就是对Pandas的数据过滤实现的完整攻略。 Pandas数据过滤实现 数据过滤是在数据集中查找和显示满足特定条件的行或列。在Pandas中,可以使用多种方式进行数据过滤。 1. 布尔索引 布尔索引是Pandas中进行数据过滤最常见的方式。布尔索引是一种过…

    python 2023年5月14日
    00
  • 使用Pandas选择包含特定文本的行

    使用 Pandas 选择包含特定文本的行,可以通过以下几个步骤实现: 1.导入 Pandas 库并读取数据 首先需要导入 Pandas 库并读取需要处理的数据文件,如下所示: import pandas as pd # 读取数据文件 df = pd.read_csv("data.csv") 2.使用 Pandas 中的 str 方法 Pa…

    python-answer 2023年3月27日
    00
  • python 用pandas实现数据透视表功能

    当我们需要对数据进行汇总和分组统计时,数据透视表是一个非常方便的工具。在Python中,使用pandas库可以很方便地实现数据透视表功能。下面是详细的攻略: 步骤一:导入pandas库 首先需要导入pandas库: import pandas as pd 步骤二:读取数据 接下来需要读取数据。如果数据已经存放在文件中,可以使用pandas的read_csv方…

    python 2023年5月14日
    00
  • 使用Python预测空气质量指数

    Title: 使用Python预测空气质量指数 空气质量指数(AQI)是衡量空气质量好坏的标准之一,预测空气质量指数是对环境保护的重要工作之一。Python是一种强大的编程语言,能够较方便地处理数据集,因此在预测AQI方面也有很大的应用。 数据获取 首先,我们需要获得空气质量数据集。可在国家环境保护部门网站上获取,也可通过第三方数据提供商获得。这里我们以UC…

    python-answer 2023年3月27日
    00
  • 在Pandas中根据多列的值分割数据框架

    在 Pandas 中,可以使用多个列的值对数据框进行分割。下面是分割数据框的完整攻略: 1. 导入 Pandas 库并读取数据 首先,需要导入 Pandas 库。可以使用以下代码执行此操作: import pandas as pd 然后,需要读取数据。以下代码演示了如何读取名为 “data.csv” 的 CSV 文件,并将其存储在名为 “df” 的 Pand…

    python-answer 2023年3月27日
    00
  • Python Pandas数据中对时间的操作

    下面是详细的讲解: 1. Pandas中对时间的操作简介 Pandas是Python数据分析库中最为常用的一款,在其设计中,对于时间的处理方式也是独具匠心。可以非常方便地实现时间序列数据的处理,从而更加便利地进行数据分析、统计以及可视化等操作。 Pandas处理时间数据主要有以下方面:1. 生成时间序列2. 时间的索引和切片3. 时间的重采样4. 时间的移动…

    python 2023年5月14日
    00
  • 将Pandas数据框架导出到Excel文件中

    导出Pandas数据框架到Excel文件通常是分析数据的重要一步。下面是完整的攻略: 安装必要的库 在导出数据到Excel之前,需要先安装必要的库,推荐使用pandas和openpyxl: pip install pandas openpyxl 如果因为网络问题安装失败,可以考虑换用镜像源,例如: pip install -i https://pypi.tu…

    python-answer 2023年3月27日
    00
  • Python实现把utf-8格式的文件转换成gbk格式的文件

    Python实现把utf-8格式的文件转换成gbk格式的文件攻略 准备工作 在开始编写 Python 代码之前,我们需要先确定一下: 源文件的编码格式 目标文件的编码格式 文件路径 为了方便演示,我们将在以下示例代码中使用 utf-8 编码的源文件并将其转换成 gbk 编码格式的目标文件。 代码实现 # 引入 codecs 模块 import codecs …

    python 2023年5月14日
    00
合作推广
合作推广
分享本页
返回顶部