Python数据集库Vaex秒开100GB加数据

首先我们需要了解一下什么是Vaex。

什么是Vaex？

Vaex是一个用于（超）大数据集的Python库，它可以处理比内存大得多的数据集，并有效地支持快速、交互式地执行各种操作，如过滤、转换、计算、汇总、可视化等。同时，Vaex使用异步I/O和各种智能编译技术，从而可以在几秒钟内对高达数百GB甚至几TB的数据集进行操作了。

Vaex的安装

使用pip进行安装：

pip install vaex

使用Vaex加载数据

Vaex支持从本地文件、url、HDF5和Apache Arrow等多种数据源中加载数据。在本文中，我们将演示如何通过Http下载表格数据并加载到Vaex中。

import vaex

url = "https://www2.census.gov/programs-surveys/popest/datasets/2010-2019/national/asrh/nst-est2019-alldata.csv"
df = vaex.from_csv(url, convert=True, chunk_size=5_000_000)

这个例子中，我们从美国人口普查局的网站下载的一个CSV文件，使用from_csv()方法将其载入到Vaex中。需要指出的是，chunk_size参数可以控制数据加载时的缓存块大小，一般情况下越大越好，但也要根据机器内存和网络速度适当设置。

当数据被加载到Vaex中后，df就是一个Vaex数据框的对象，即可以像pandas一样进行下一步分析操作。例如：

df.columns
df.describe()
df.select(['POP2010', 'POP2019'])
df.groupby(['REGION']).POP2019.minmax()

需要注意的是，Vaex的API中有很多用法和pandas是相似的，但可能会有一些细微的差异，可以参考官方文档。

Vaex的数据操作

Vaex的数据操作包括过滤、转换、计算、汇总和可视化等，我们来看几个常见的操作。

过滤数据：

import vaex

url = "https://www2.census.gov/programs-surveys/popest/datasets/2010-2019/national/asrh/nst-est2019-alldata.csv"
df = vaex.from_csv(url, convert=True, chunk_size=5_000_000)

df_filtered = df[df.STATE == 'NJ']

这个例子中，我们使用df[df.STATE == 'NJ']语句过滤出了网站中美国新泽西州的数据。

计算新的列：

import vaex

url = "https://www2.census.gov/programs-surveys/popest/datasets/2010-2019/national/asrh/nst-est2019-alldata.csv"
df = vaex.from_csv(url, convert=True, chunk_size=5_000_000)

df.eval('pop_change = POP2019 - POP2010')

这个例子中，我们使用df.eval('pop_change = POP2019 - POP2010')语句，计算了一个新的列pop_change，表示人口变化。

汇总和可视化：

import vaex
import matplotlib.pyplot as plt

url = "https://www2.census.gov/programs-surveys/popest/datasets/2010-2019/national/asrh/nst-est2019-alldata.csv"
df = vaex.from_csv(url, convert=True, chunk_size=5_000_000)

df.groupby(['SEX']).agg({'POP2019': 'sum'}).plot(kind='pie', x='SEX', y='POP2019')
plt.title("US population by sex")
plt.show()

这个例子中，我们使用df.groupby(['SEX']).agg({'POP2019': 'sum'}).plot(kind='pie', x='SEX', y='POP2019')语句，对人口数据按性别做了汇总，并使用Matplotlib库进行圆饼图的绘制。

这些只是Vaex在数据操作方面的一部分能力，它还有更多有趣的功能等待着你去探索。

小结

总之，Vaex是一个很强大的Python库，可以处理非常大的数据集，并支持各种数据操作和可视化，而且其性能也非常高效。如果你需要处理海量数据，并且想要更高效地完成数据分析任务，不妨尝试一下Vaex。