浅谈tensorflow中dataset.shuffle和dataset.batch dataset.repeat注意点

在tensorflow中，要构建高效且正确的数据输入流程，通常需要用到两个重要的函数：dataset.shuffle和dataset.batch。本文将讨论这两个函数的用法及其注意点，还会简单介绍dataset.repeat函数。

dataset.shuffle

在机器学习中，对数据进行随机化处理是提升模型稳定性和泛化性能的重要手段之一。Dataset.shuffle函数可以随机打乱一个数据集的所有元素，并返回一个新的dataset对象。

使用Dataset.shuffle函数需要指定一个参数，即缓冲区大小(buffer_size)。该参数可以理解为待打乱的样本数量时，Dataset.shuffle会从数据集中取出缓冲区大小的数据进行随机的打乱操作。因此，buffer_size越小，打乱粒度越小，随机性越低；反之则越高。

示例：

import tensorflow as tf
import numpy as np

# 构造数据集
dataset = tf.data.Dataset.from_tensor_slices(np.arange(10))

# 打乱数据集
dataset = dataset.shuffle(buffer_size=5)

# 测试输出
for elem in dataset:
    print(elem.numpy())

在上述示例中，我们使用了buffer_size=5的方式进行数据集打乱。每次从数据集中取出5个样本进行随机打乱，最后返回打乱后的新数据集。可以尝试不同的buffer_size值，观察随机性的变化。

dataset.batch

在处理大规模数据集时，将所有数据一次性读进内存并进行处理是不可能的，常用的做法是将数据分成若干个batch进行处理。Dataset.batch函数可以将一个数据集按照batch_size进行划分，并返回一个新的dataset对象。一般从效率考虑，batch_size大小应尽可能的大，同时考虑到内存限制，不可过大。

示例1：

import tensorflow as tf
import numpy as np

# 构造数据集
dataset = tf.data.Dataset.from_tensor_slices(np.arange(10))

# 划分batch
dataset = dataset.batch(batch_size=3)

# 测试输出
for elem in dataset:
    print(elem.numpy())

在示例1中，我们将数据集按照batch_size=3进行划分，打印出每一个batch的元素值。可以看到，每个batch共有3个元素，最后一个batch只有1个元素。

示例2：

import tensorflow as tf
import numpy as np

# 构造数据集
dataset = tf.data.Dataset.from_tensor_slices(np.arange(10))

# 划分batch
dataset = dataset.batch(batch_size=3, drop_remainder=True)

# 测试输出
for elem in dataset:
    print(elem.numpy())

在示例2中，我们新增了一个drop_remainder=True参数。当drop_remainder=True时，在最后一个batch无法填满batch_size大小时，该函数会丢弃最后一个batch。通常在训练过程中采用这种方式可以提高效率，但在其它场景可能需要保留最后一个不足batch_size的batch。

dataset.repeat

Dataset.repeat函数会让整个数据集重复多个epoch。当训练数据无法填满一个epoch时，该函数仍然能够使得模型能够遍历整个数据集一次。该函数通常与Dataset.shuffle和Dataset.batch函数配合使用。

示例：

import tensorflow as tf
import numpy as np

# 构造数据集
dataset = tf.data.Dataset.from_tensor_slices(np.arange(10))

# 打乱数据集
dataset = dataset.shuffle(buffer_size=10)

# 划分batch
dataset = dataset.batch(batch_size=3)

# 重复5次
dataset = dataset.repeat(5)

# 测试输出
for elem in dataset:
    print(elem.numpy())

在示例中，我们将数据集进行打乱、划分batch、重复5次后，用for循环遍历整个数据集。注意重复次数应是数据集样本数除以batch_size的整数倍，否则会出现重复遍历数据的情况。

注意点

在使用Dataset.shuffle、Dataset.batch、Dataset.repeat函数时，需要注意以下几点：

1. Dataset.shuffle不能用于生成固定数量或最大次数的数据集，只能用于随机化数据的完整集合。
2. Dataset.batch不会将数据进行自动填充，若某个batch的元素数量不足则会被自动舍弃。
3. Dataset.repeat须与Dataset.batch连用，以保证在一个epoch中数据集不遗漏和重复。