Pandas常用的读取和保存数据的函数使用(csv,mysql,json,excel)

yizhihongxing

Pandas是Python中非常常用的数据分析和处理库,可以很方便地完成各种操作。其中读取和保存数据的函数使用是比较常用的功能,下面就对Pandas常用的读取和保存数据的函数使用进行详细的讲解。

读取数据

读取csv文件

Pandas中用于读取csv文件的函数是read_csv(),使用方法如下:

import pandas as pd

data = pd.read_csv('data.csv', encoding='utf-8')

其中data.csv是要读取的文件路径,encoding参数是指定编码方式,默认是utf-8

读取MySQL数据库

Pandas中用于读取MySQL数据库的函数是read_sql_query()read_sql_table(),使用方法如下:

import pandas as pd
import pymysql

conn = pymysql.connect(host='localhost', user='root', password='123456', database='test', charset='utf8')
sql = 'select * from students'
data = pd.read_sql_query(sql, conn)

其中pymysql是Python的MySQL数据库操作库,需要先安装;conn是连接MySQL数据库的对象,需要提供MySQL的主机名、用户名、密码、数据库名、字符集等信息;sql是要执行的查询语句,read_sql_query()函数会根据该语句从MySQL中读取数据。

读取JSON文件

Pandas中用于读取JSON文件的函数是read_json(),使用方法如下:

import pandas as pd

data = pd.read_json('data.json', encoding='utf-8')

其中data.json是要读取的文件路径,encoding参数是指定编码方式,默认是utf-8

读取Excel文件

Pandas中用于读取Excel文件的函数是read_excel(),使用方法如下:

import pandas as pd

data = pd.read_excel('data.xlsx', sheet_name='Sheet1', encoding='utf-8')

其中data.xlsx是要读取的Excel文件路径,sheet_name参数是指定要读取的工作表名称,默认是第一个工作表,encoding参数是指定编码方式,默认是utf-8

保存数据

保存为csv文件

Pandas中用于保存为csv文件的函数是to_csv(),使用方法如下:

import pandas as pd

data = pd.read_csv('data.csv', encoding='utf-8')
data.to_csv('new_data.csv', index=False, encoding='utf-8')

其中new_data.csv是要保存的文件路径,index参数是指定是否保存索引列,默认是保存,encoding参数是指定编码方式,默认是utf-8

保存到MySQL数据库

Pandas中用于保存到MySQL数据库的函数是to_sql(),使用方法如下:

import pandas as pd
import pymysql

conn = pymysql.connect(host='localhost', user='root', password='123456', database='test', charset='utf8')
data = pd.read_csv('data.csv', encoding='utf-8')
data.to_sql('students', conn, index=False, if_exists='replace')

其中conn是连接MySQL数据库的对象,students是要保存到的表名,index参数是指定是否保存索引列,默认是保存,if_exists参数是指定如果表已存在时的处理方式,可以选择replace(替换)或append(追加)。

参考资料:

Pandas官方文档

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Pandas常用的读取和保存数据的函数使用(csv,mysql,json,excel) - Python技术站

(0)
上一篇 2023年5月14日
下一篇 2023年5月14日

相关文章

  • 使用堆叠、解叠和熔化方法重塑pandas数据框架

    使用堆叠、解叠和熔化方法可以重塑 Pandas 数据框架。这些方法可以使得数据的表述更加简洁,也方便进行数据分析和可视化。下面就具体介绍这些方法的使用攻略。 堆叠(stack)和解叠(unstack) 堆叠方法可以把数据框架中的列“压缩”成一列,而解叠方法则可以把“压缩”后的列重新展开。下面通过一个示例来说明其应用。 import pandas as pd …

    python-answer 2023年3月27日
    00
  • Pandas计算元素的数量和频率的方法(出现的次数)

    当我们在处理数据时,经常需要统计某些元素出现的次数或者频率。Pandas 提供了几个简单的方法,方便我们进行统计。下面是详细的介绍。 使用 value_counts() 方法计算元素的数量和频率 value_counts() 方法可以用来计算 Series 中每个元素出现的次数和频率,并以一个新的 Series 对象返回结果。下面是一个示例: import …

    python 2023年5月14日
    00
  • Python使用Missingno库可视化缺失值(NaN)值

    当我们处理数据时,经常会遇到缺失值(NaN)的情况。了解数据缺失值的情况很重要,因为这会影响我们对数据的分析和建模。Python的Missingno库提供了一种简单而有效的方式来查看缺失值的分布情况。 Missingno库提供了以下几种方式来可视化缺失值: 矩阵图(Matrix) 矩阵图是Missingno库最常用的一种可视化方式。它显示了数据集中所有变量的…

    python-answer 2023年3月27日
    00
  • Pandas最常用的7种字符串处理方法

    Pandas是一个强大的数据处理工具,除了能处理数值和时间序列等数据类型外,还能够方便地处理字符串数据。 常用的字符串处理函数如下表所示: 函数名称 函数功能说明 lower() 将的字符串转换为小写。 upper() 将的字符串转换为大写。 len() 得出字符串的长度。 strip() 去除字符串两边的空格(包含换行符)。 split() 用指定的分割符…

    Pandas 2023年3月5日
    00
  • Python pandas删除指定行/列数据的方法实例

    Python pandas是一种流行的数据分析工具,可以方便地操作数据。在数据清洗和分析过程中,有时需要删除不必要的行/列数据,本文详细讲解了Python pandas删除指定行/列数据的方法实例。 删除指定行数据的方法 使用drop()函数实现删除指定行数据 使用drop()函数可以删除指定行(axis=0),示例代码如下: import pandas a…

    python 2023年5月14日
    00
  • Python拆分给定的列表并插入EXCEL文件中

    让我为你详细地讲解一下如何使用Python拆分给定的列表并插入EXCEL文件中。 一、拆分给定列表 首先我们需要使用Python中的split()函数来拆分给定的列表,将其拆分成多个元素。split()函数可以按照指定的分隔符将字符串拆分成多个子串,并返回一个列表。 例如,我们有一个包含若干个逗号分隔的字符串的列表,这些字符串的形式为“元素1,元素2,元素3…

    python-answer 2023年3月27日
    00
  • python-地图可视化组件folium的操作

    下面是Python地图可视化组件folium的操作攻略: 1. 准备工作 首先,我们需要在本地安装folium库。可以使用pip包管理器进行安装。在终端窗口输入以下命令: pip install folium 安装成功之后,我们便可以开始使用该库。 2. 创建地图 要在网页上显示地图,首先需要创建一个地图对象。使用folium.Map()函数,可以创建一个新…

    python 2023年6月13日
    00
  • Pandas中resample方法详解

    Pandas中resample()方法详解 在Pandas中,resample()是一个非常实用的时间序列数据处理方法。它可以将数据按照时间周期进行分组,然后对每个周期内的数据进行聚合操作。本文将对Pandas中的resample()方法进行详细讲解,并且提供一些实例说明。 resample()方法的基本使用 resample()方法可以应用于Series和…

    python 2023年5月14日
    00
合作推广
合作推广
分享本页
返回顶部