0 前言
在现实的实战过程中，遇到的数据集往往不是类似于mnist一样已经打包好的数据集，而是以图片形式存在文件夹中，对于这种情况是没有相关函数（如load_data()函数）直接加载的，因此，下面我将提出两种构建数据集的方法。
方法1
.flow_from_directory（），这个函数在数据增强的时候可以用到，相关用法为：
train_datagen = ImageDataGenerator( rescale=1./255, shear_range=0.2, zoom_range=0.2, horizontal_flip=True) test_datagen = ImageDataGenerator(rescale=1./255) train_generator = train_datagen.flow_from_directory( \'data/train\', target_size=(150, 150), batch_size=32, class_mode=\'binary\') validation_generator = test_datagen.flow_from_directory( \'data/validation\', target_size=(150, 150), batch_size=32, class_mode=\'binary\') model.fit_generator( train_generator, steps_per_epoch=2000, epochs=50, validation_data=validation_generator, validation_steps=800)
ImageDataGenerator(）为对图像进行增强，一般在数据集较少的时候用，
keras.preprocessing.image.ImageDataGenerator(featurewise_center=False, samplewise_center=False, featurewise_std_normalization=False, samplewise_std_normalization=False, zca_whitening=False, zca_epsilon=1e-6, rotation_range=0., width_shift_range=0., height_shift_range=0., shear_range=0., zoom_range=0., channel_shift_range=0., fill_mode=\'nearest\', cval=0., horizontal_flip=False, vertical_flip=False, rescale=None, preprocessing_function=None, data_format=K.image_data_format())
相关参数的解释：
如果不用增强，则函数为空。用以生成一个batch的图像数据，支持实时数据提升。训练时该函数会无限生成数据，直到达到规定的epoch次数为止。
参数
-
featurewise_center：布尔值，使输入数据集去中心化（均值为0）, 按feature执行
-
samplewise_center：布尔值，使输入数据的每个样本均值为0
-
featurewise_std_normalization：布尔值，将输入除以数据集的标准差以完成标准化, 按feature执行
-
samplewise_std_normalization：布尔值，将输入的每个样本除以其自身的标准差
-
zca_whitening：布尔值，对输入数据施加ZCA白化
-
zca_epsilon: ZCA使用的eposilon，默认1e-6
-
rotation_range：整数，数据提升时图片随机转动的角度
-
width_shift_range：浮点数，图片宽度的某个比例，数据提升时图片水平偏移的幅度
-
height_shift_range：浮点数，图片高度的某个比例，数据提升时图片竖直偏移的幅度
-
shear_range：浮点数，剪切强度（逆时针方向的剪切变换角度）
-
zoom_range：浮点数或形如
[lower,upper]的列表，随机缩放的幅度，若为浮点数，则相当于[lower,upper] = [1 - zoom_range, 1+zoom_range] -
channel_shift_range：浮点数，随机通道偏移的幅度
-
fill_mode：；‘constant’，‘nearest’，‘reflect’或‘wrap’之一，当进行变换时超出边界的点将根据本参数给定的方法进行处理
-
cval：浮点数或整数，当
fill_mode=constant时，指定要向超出边界的点填充的值 -
horizontal_flip：布尔值，进行随机水平翻转
-
vertical_flip：布尔值，进行随机竖直翻转
-
rescale: 重放缩因子,默认为None. 如果为None或0则不进行放缩,否则会将该数值乘到数据上(在应用其他变换之前)
-
preprocessing_function: 将被应用于每个输入的函数。该函数将在图片缩放和数据提升之后运行。该函数接受一个参数，为一张图片（秩为3的numpy array），并且输出一个具有相同shape的numpy array
-
data_format：字符串，“channel_first”或“channel_last”之一，代表图像的通道维的位置。该参数是Keras 1.x中的image_dim_ordering，“channel_last”对应原本的“tf”，“channel_first”对应原本的“th”。以128x128的RGB图像为例，“channel_first”应将数据组织为（3,128,128），而“channel_last”应将数据组织为（128,128,3）。该参数的默认值是
~/.keras/keras.json中设置的值，若从未设置过，则为“channel_last”
flow_from_directory(directory): 以文件夹路径为参数,生成经过数据提升/归一化后的数据,在一个无限循环中无限产生batch数据
- directory: 目标文件夹路径,对于每一个类,该文件夹都要包含一个子文件夹.子文件夹中任何JPG、PNG、BNP、PPM的图片都会被生成器使用.详情请查看此脚本
- target_size: 整数tuple,默认为(256, 256). 图像将被resize成该尺寸
- color_mode: 颜色模式,为"grayscale","rgb"之一,默认为"rgb".代表这些图片是否会被转换为单通道或三通道的图片.
- classes: 可选参数,为子文件夹的列表,如[\'dogs\',\'cats\']默认为None. 若未提供,则该类别列表将从
directory下的子文件夹名称/结构自动推断。每一个子文件夹都会被认为是一个新的类。(类别的顺序将按照字母表顺序映射到标签值)。通过属性class_indices可获得文件夹名与类的序号的对应字典。 - class_mode: "categorical", "binary", "sparse"或None之一. 默认为"categorical. 该参数决定了返回的标签数组的形式, "categorical"会返回2D的one-hot编码标签,"binary"返回1D的二值标签."sparse"返回1D的整数标签,如果为None则不返回任何标签, 生成器将仅仅生成batch数据, 这种情况在使用
model.predict_generator()和model.evaluate_generator()等函数时会用到. - batch_size: batch数据的大小,默认32
- shuffle: 是否打乱数据,默认为True
- seed: 可选参数,打乱数据和进行变换时的随机数种子
- save_to_dir: None或字符串，该参数能让你将提升后的图片保存起来，用以可视化
- save_prefix：字符串，保存提升后图片时使用的前缀, 仅当设置了
save_to_dir时生效 - save_format："png"或"jpeg"之一，指定保存图片的数据格式,默认"jpeg"
- flollow_links: 是否访问子文件夹中的软链
-
同时变换图像和mask示例
data_gen_args = dict(featurewise_center=True, featurewise_std_normalization=True, rotation_range=90., width_shift_range=0.1, height_shift_range=0.1, zoom_range=0.2) image_datagen = ImageDataGenerator(**data_gen_args) mask_datagen = ImageDataGenerator(**data_gen_args) # Provide the same seed and keyword arguments to the fit and flow methods seed = 1 image_datagen.fit(images, augment=True, seed=seed) mask_datagen.fit(masks, augment=True, seed=seed) image_generator = image_datagen.flow_from_directory( \'data/images\', class_mode=None, seed=seed) mask_generator = mask_datagen.flow_from_directory( \'data/masks\', class_mode=None, seed=seed) # combine generators into one which yields image and masks train_generator = zip(image_generator, mask_generator) model.fit_generator( train_generator, steps_per_epoch=2000, epochs=50)
参考链接;
https://keras-cn.readthedocs.io/en/latest/preprocessing/image/
train_datagen = ImageDataGenerator( rescale=1./255, shear_range=0.2, zoom_range=0.2, horizontal_flip=True) test_datagen = ImageDataGenerator(rescale=1./255) train_generator = train_datagen.flow_from_directory( \'data/train\', target_size=(150, 150), batch_size=32, class_mode=\'binary\') validation_generator = test_datagen.flow_from_directory( \'data/validation\', target_size=(150, 150), batch_size=32, class_mode=\'binary\') model.fit_generator( train_generator, steps_per_epoch=2000, epochs=50, validation_data=validation_generator, validation_steps=800)
本站文章如无特殊说明，均为本站原创，如若转载，请注明出处：Keras框架下用.flow_from_directoryt自己构建数据集 - Python技术站
微信扫一扫 
支付宝扫一扫 
