Python Pandas库基础分析之时间序列的处理详解

一、时间序列简介

时间序列是一种特殊的数据类型，它是指将数据按时间先后顺序进行排列组织的数据。时间序列一般由三部分组成：时间戳(timestamp)、时间周期(period)和时间间隔(interval)。

在时间序列分析中，我们通常会进行一些预处理和处理操作，例如：对时间戳进行格式化、切片、滚动、偏移（shift）、重采样等操作。这些操作都可以通过Pandas库中的时间序列相关的函数和方法来完成。

二、Pandas库时间序列的产生

在Pandas库中，我们可以使用pd.to_datetime()函数将数据转换为时间序列类型。该函数将多种格式（如字符型、整型、浮点型、时间戳及其组合）的数据转换为Pandas库中的DatetimeIndex的类型数据。

具体如下：

import pandas as pd

# 模拟数据集
data = pd.DataFrame({
    'date': ['2021-01-01', '2021-01-02', '2021-01-03', '2021-01-04', '2021-01-05'],
    'value': [10, 20, 30, 40, 50]
})

# 将date列转换为时间序列类型
data['date'] = pd.to_datetime(data['date'], format='%Y-%m-%d')

上述代码中，我们首先创建了一个模拟数据集，并使用pd.to_datetime()函数将其中的date列转换为时间序列类型。需要注意的是，format参数表示时间字符串的格式，需要根据实际数据格式进行指定。

三、时间序列的操作

1. 时间戳格式化

在实际数据中，很多情况下时间戳的格式不规范，需要进行一定的格式化处理。Pandas库中，我们可以使用strftime()函数将时间戳格式化为指采定的字符串格式。具体如下：

# 数据格式化操作
data['date_fmt'] = data['date'].dt.strftime('%Y%m%d')
print(data)

2. 时间序列切片

当数据集中包含多种维度的数据时，我们通常需要根据时间序列对数据集进行切片。Pandas库中提供了loc()和iloc()方法来实现。其中loc()方法中需要指定时间序列的索引范围；iloc()方法中需要指定时间序列的行数范围。具体如下：

# 时间序列切片操作
data_slice = data.loc[(data['date'] >= '2021-01-02') & (data['date'] <= '2021-01-04'), :]
print(data_slice)

3. 移动窗口计算

移动窗口计算是指对一定范围（例如一定时间跨度）内的数据进行计算。Pandas库中提供了rolling()方法来实现。具体如下：

# 移动窗口计算
data['value_mean'] = data['value'].rolling(window=3).mean()
print(data)

上述代码将moving()方法中的window参数设定为3，表示以3天为窗口进行移动平均计算。

4. 时间偏移

有时候，我们需要对时间序列进行偏移计算，例如，某些数据需要计算其与过去一段时间的差值。Pandas库中提供了shift()方法来实现。具体如下：

# 时间偏移计算
data['value_diff'] = data['value'] - data['value'].shift(1)
print(data)

上述代码将shift()方法中的参数设定为1，表示计算相邻两个数值的差值。

5. 时间重采样

时间的重采样是指将时间序列的数据按照新的时间段进行聚合。Pandas库中提供了resample()方法来实现。具体如下：

# 时间重采样
data_resample = data.set_index('date').resample('2D').sum()
data_resample['date'] = data_resample.index
print(data_resample)

上述代码中，我们将时间序列按照2天为单位进行重采样，并计算其中数值的和。

四、 示例

下面通过两个具体的示例来演示时间序列操作：

示例1：计算股票涨跌幅

import pandas as pd

# 读取股票数据
df = pd.read_csv('data/stock.csv')

# 将Date列转换为datetime数据类型，并设置其为索引
df.index = pd.to_datetime(df['Date'], format='%Y-%m-%d')
df.drop(columns=['Date'], inplace=True)

# 计算股票涨跌幅
df['Close_diff'] = (df['Close'] / df['Close'].shift(1)) - 1

print(df)

上述代码中，我们首先读取了一个股票数据集，然后使用pd.to_datetime()函数将其Date列转换为时间序列类型，并设置其为索引。接着，我们通过计算df['Close'] / df['Close'].shift(1) - 1来计算每日股票价格的涨跌幅并保存到df['Close_diff']中。

示例2：计算股票收益率

import pandas as pd

# 读取股票数据
df = pd.read_csv('data/stock.csv')

# 将Date列转换为datetime数据类型，并设置其为索引
df.index = pd.to_datetime(df['Date'], format='%Y-%m-%d')
df.drop(columns=['Date'], inplace=True)

# 计算股票收益率
df['Close_lag'] = df['Close'].shift(1)
df['Profit'] = (df['Close'] - df['Close_lag']) / df['Close_lag']

print(df)

上述代码中，我们首先读取了一个股票数据集，然后使用pd.to_datetime()函数将其Date列转换为时间序列类型，并设置其为索引。接着，我们通过计算(df['Close'] - df['Close_lag']) / df['Close_lag']来计算股票收益率，并保存到df['Profit']中。