Pandas常用的读取和保存数据的函数使用(csv,mysql,json,excel)

Pandas是Python中非常常用的数据分析和处理库,可以很方便地完成各种操作。其中读取和保存数据的函数使用是比较常用的功能,下面就对Pandas常用的读取和保存数据的函数使用进行详细的讲解。

读取数据

读取csv文件

Pandas中用于读取csv文件的函数是read_csv(),使用方法如下:

import pandas as pd

data = pd.read_csv('data.csv', encoding='utf-8')

其中data.csv是要读取的文件路径,encoding参数是指定编码方式,默认是utf-8

读取MySQL数据库

Pandas中用于读取MySQL数据库的函数是read_sql_query()read_sql_table(),使用方法如下:

import pandas as pd
import pymysql

conn = pymysql.connect(host='localhost', user='root', password='123456', database='test', charset='utf8')
sql = 'select * from students'
data = pd.read_sql_query(sql, conn)

其中pymysql是Python的MySQL数据库操作库,需要先安装;conn是连接MySQL数据库的对象,需要提供MySQL的主机名、用户名、密码、数据库名、字符集等信息;sql是要执行的查询语句,read_sql_query()函数会根据该语句从MySQL中读取数据。

读取JSON文件

Pandas中用于读取JSON文件的函数是read_json(),使用方法如下:

import pandas as pd

data = pd.read_json('data.json', encoding='utf-8')

其中data.json是要读取的文件路径,encoding参数是指定编码方式,默认是utf-8

读取Excel文件

Pandas中用于读取Excel文件的函数是read_excel(),使用方法如下:

import pandas as pd

data = pd.read_excel('data.xlsx', sheet_name='Sheet1', encoding='utf-8')

其中data.xlsx是要读取的Excel文件路径,sheet_name参数是指定要读取的工作表名称,默认是第一个工作表,encoding参数是指定编码方式,默认是utf-8

保存数据

保存为csv文件

Pandas中用于保存为csv文件的函数是to_csv(),使用方法如下:

import pandas as pd

data = pd.read_csv('data.csv', encoding='utf-8')
data.to_csv('new_data.csv', index=False, encoding='utf-8')

其中new_data.csv是要保存的文件路径,index参数是指定是否保存索引列,默认是保存,encoding参数是指定编码方式,默认是utf-8

保存到MySQL数据库

Pandas中用于保存到MySQL数据库的函数是to_sql(),使用方法如下:

import pandas as pd
import pymysql

conn = pymysql.connect(host='localhost', user='root', password='123456', database='test', charset='utf8')
data = pd.read_csv('data.csv', encoding='utf-8')
data.to_sql('students', conn, index=False, if_exists='replace')

其中conn是连接MySQL数据库的对象,students是要保存到的表名,index参数是指定是否保存索引列,默认是保存,if_exists参数是指定如果表已存在时的处理方式,可以选择replace(替换)或append(追加)。

参考资料:

Pandas官方文档

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Pandas常用的读取和保存数据的函数使用(csv,mysql,json,excel) - Python技术站

(0)
上一篇 2023年5月14日
下一篇 2023年5月14日

相关文章

  • 如何在Python Pandas中结合两个数据框架

    在Pandas中结合两个数据框架的操作,通常可以使用merge()函数或者join()函数来进行。下面我将在实例的基础上,详细讲解如何进行这两个函数的操作。 假设我们有两个数据框架df1和df2,它们的数据如下: import pandas as pd df1 = pd.DataFrame({‘key’: [‘foo’, ‘bar’, ‘baz’, ‘foo…

    python-answer 2023年3月27日
    00
  • 获取Pandas DataFrame中包含给定子字符串的所有记录

    获取Pandas DataFrame中包含给定子字符串的所有记录的过程可以分为以下几个步骤: 导入Pandas模块以及相关的数据文件 先导入Pandas模块,并读取包含数据的CSV文件,如下所示: import pandas as pd # 读取CSV文件 df = pd.read_csv(‘data.csv’) 利用str.contains()方法查找包含…

    python-answer 2023年3月27日
    00
  • pandas 颠倒列顺序的两种解决方案

    当我们使用 Pandas 处理数据的时候,常常需要对列进行颠倒。在这种情况下,我们可以使用下面的两种解决方案。 1. 使用 iloc 方法 iloc 方法用于根据索引位置选择行和列。它可以使用以下方式来颠倒列的顺序。 import pandas as pd df = pd.DataFrame({‘a’:[1,2,3], ‘b’:[4,5,6],’c’:[7,…

    python 2023年6月13日
    00
  • 如何在Pandas中修复SettingWithCopyWarning

    在 Pandas 中,有时可能会出现 SettingWithCopyWarning 警告,这是因为在 DataFrame 或 Series 中使用链式操作时,在进行赋值操作时可能会影响原始数据。此警告并不意味着程序发生了错误,但如果不加处理,可能会影响程序的正确性。下面是一些可能出现 SettingWithCopyWarning 警告的示例场景: 对数据进行…

    python-answer 2023年3月27日
    00
  • python获取Pandas列名的几种方法

    Python语言中,Pandas是一种开源的数据分析工具,常用于数据预处理、数据清洗、数据分析等领域。在进行数据分析过程中,常需要获取Pandas数据列名作为分析的参考,本文将详细讲解Python获取Pandas列名的几种方法。 1. 使用.columns方法获取列名 Pandas中提供了.columns方法可以方便地获取数据的列名。具体方法如下: impo…

    python 2023年5月14日
    00
  • Pandas – 计算两个系列之间的欧几里得距离

    计算两个系列之间的欧几里得距离需要用到Pandas的distance函数。下面就来详细讲解一下这个过程。 步骤一:导入Pandas 在Python编写代码之前,首先需要导入Pandas库,用于数据处理。 # 导入Pandas库 import pandas as pd 步骤二:创建两个系列 在计算欧几里得距离之前,需要先创建两个系列。这里以一个包含每个城市的经…

    python-answer 2023年3月27日
    00
  • 在Python中设置Pandas数据框的背景颜色和字体颜色

    在Python Pandas中设置数据框的背景颜色和字体颜色可以用到Pandas自带的style模块。其主要包括了两个主要函数,即background_gradient()和highlight_max()。 设置背景颜色 1. background_gradient() 使用background_gradient()函数,可以根据值的大小自动为DataFra…

    python-answer 2023年3月27日
    00
  • 通过Python实现一个A/B测试详解

    通过Python实现一个A/B测试详解 什么是A/B测试? A/B测试是指比较两个版本的网页、应用等,以确定哪个版本对用户更有吸引力或效果更好,并从而选择更优的版本。A/B测试可以帮助网站和应用开发者提高转化率、点击率、用户留存率等指标。 A/B测试的步骤 A/B测试一般分为以下几个步骤: 确定测试目标和指标。例如,我们想要提高购买转化率,因此购买转化率就是…

    python 2023年5月14日
    00
合作推广
合作推广
分享本页
返回顶部