在我们处理有关图像的任务,比如目标检测,分类,语义分割等等问题当中,我们常常需要对训练集当中的图片进行数据增强(data augmentation),这样会让训练集的样本增多,同时让神经网络模型的泛化能力更强。在进行图片的数据增强时,我们一般会对图像进行翻转,剪裁,灰度变化,对比度变化,颜色变化等等方式生成新的训练集,这就是计算机视觉当中的数据增强。我们来看看使用图像增强的手段,对一个猫狗图像分类的具体问题是怎么处理的。源码可以在https://github.com/Geeksongs/Computer_Vision/tree/master/Image%20augmentation
进行查看。
首先我们导入各种包,像tensorflow之类的就不说了,其中的一个包叫做glob,这个包主要是用于读取本地计算机上的图片数据所用的,使用起来十分方便,只需几行代码即可将图片数据读入进来,比pathlib包读取图片方便多了,代码如下所示:
import tensorflow as tf from tensorflow import keras import matplotlib.pyplot as plt import numpy as np import glob import os
然后读取图片,我把我的猫狗图片数据都放在了train文件夹下,这个文件夹下又有两个文件夹,分别是dog和cat,在调用glob库写图片路径的同时,我们直接用“*”号来表示一个文件夹下的所有文件都读取,代码如下所示:
#首先获取图片,glob这个库明显感觉更加好用 train_image_path=glob.glob('F://UNIVERSITY STUDY/AI/dataset/catdog/train/*/*.jpg') #加上*号是为了将当前目录下的所有文件,再加上一个星号是为了提取当前目录下的所有jpg文件 train_image_label=[int(p.split("\\")[1]=='cat') for p in train_image_path ] #经过一个列表推倒式就可以得到所有label
后面的第二行代码是一个列表推导式,我们观察图片数据集的名称可以发现每一张图片名称上面都有cat或者dog。这样我们就可以直接切分名称上的dog和cat,然后进行索引用split切片出来的第二个字符串,这个字符串正好表示了图片是猫还是狗,运用如上所示的列表推导式的话,如果图片为cat那么标签就为1,如果为dog标签就为0。下面我们来看看数据集当中的名称是长啥样的:
从中观察可得,名称都是用句号进行分割,图片的格式为jpg。
我们现在已经得到了所有图片的路径,以及标签了,现在就来到了最激动人心的部分,图片的数据增强啦!!!
我们编写一个专门用于图片的预处理,包括用作图片数据增强的函数:load_preprosess_image()。在这个函数当中我们对图片进行预处理,之后再进行调用即可。这个函数的代码如下:
#现在我们的jpg文件进行解码,变成三维矩阵 def load_preprosess_image(path,label): #读取路径 image=tf.io.read_file(path) #解码 image=tf.image.decode_jpeg(image,channels=3)#彩色图像为3个channel #将图像改变为同样的大小,利用裁剪或者扭曲,这里应用了扭曲 image=tf.image.resize(image,[360,360]) #随机裁剪图像 image=tf.image.random_crop(image,[256,256,3]) #随机上下翻转图像 image=tf.image.random_flip_left_right(image) #随机上下翻转 image=tf.image.random_flip_up_down(image) #随机改变图像的亮度 image=tf.image.random_brightness(image,0.5) #随机改变对比度 image=tf.image.random_contrast(image,0,1) #改变数据类型 image=tf.cast(image,tf.float32) #将图像进行归一化 image=image/255 #现在还需要对label进行处理,我们现在是列表[1,2,3], #需要变成[[1].[2].[3]] label=tf.reshape(label,[1]) return image,label
注释我相信已经写得很详细了,里面首先对数据集里后缀为jpg格式的图片进行解码,将jpg格式转化为一个个三维的矩阵,之后将图片进行resize,resize之后进行剪裁为256*256,因为我之后要搭建的神经网络如果图片的size是256*256的话,那么这个网络准确率的表现将会变得更好一些。当然你也可以自己动手设计自己的神经网络,或使用Resnet,VGG16等等卷积神经网络对图片进行分类,这些网络对图片的尺寸都会有一定的要求,因此一定要对我们拿到的图片进行预处理,并不是每一个数据集里的图片的大小是已经大小一致方便训练的。然后我们创建datasets容器用于数据的装载,同时制作每一个batch的数据,代码如下所示:
#现在开始创建dataset train_image_ds=tf.data.Dataset.from_tensor_slices((train_image_path,train_image_label)) AUTOTUNE=tf.data.experimental.AUTOTUNE#根据计算机性能进行运算速度的调整 train_image_ds=train_image_ds.map(load_preprosess_image,num_parallel_calls=AUTOTUNE) #后面的参数表示处理并行运算的CPU运行数量 #现在train_image_ds就读取进来了,现在进行乱序和batchsize的规定 BATCH_SIZE=32 train_count=len(train_image_path) #现在设置batch和乱序 train_image_ds=train_image_ds.shuffle(train_count).batch(BATCH_SIZE) train_image_ds=train_image_ds.prefetch(AUTOTUNE)#预处理一部分处理,准备读取 imags,labels=iter(train_image_ds).next()#放到生成器里,单独取出数据
现在搭建神经网络:
#现在开始创建模型 model=keras.Sequential([ tf.keras.layers.Conv2D(64,(3,3),input_shape=(256,256,3),activation='relu'), tf.keras.layers.MaxPooling2D(), tf.keras.layers.Conv2D(128,(3,3),activation='relu'), tf.keras.layers.MaxPooling2D(), tf.keras.layers.Conv2D(512,(3,3),activation='relu'), tf.keras.layers.GlobalAveragePooling2D(), tf.keras.layers.Dense(256,activation='relu'), tf.keras.layers.Dense(1) ])
开始自定义训练,如果使用keras式的编程,我们直接model.compile,model.fit模型就训练完了。但是这里为了能够看到训练当中的模型的变化,我们使用自定义训练,这也是Tensotflow2.0版本的优越性,既可以自定义训练也可以使用更加方便的keras方式进行训练,比Pytorch简单了不少。自定义训练的代码如下:
loss=tf.keras.losses.BinaryCrossentropy()#用这个来计算交叉熵 #定义优化器 optimizer=tf.keras.optimizers.Adam() epoch_loss_avg=tf.keras.metrics.Mean('train_loss')#定义平均损失 train_accuracy=tf.keras.metrics.Accuracy() def train_step(model,image,labels): with tf.GradientTape() as t: pred=model(image) #计算损失,比较标签值和预测值的区别 loss_step=tf.keras.losses.BinaryCrossentropy(from_logits=True)(labels,pred) grads=t.gradient(loss_step,model.trainable_variables)#计算梯度 optimizer.apply_gradients(zip(grads,model.trainable_variables))#根据梯度进行优化 epoch_loss_avg(loss_step) train_accuracy(labels,tf.cast(pred>0,tf.int32)) train_loss_results=[] train_acc_resuls=[] num_epochs=30 for epoch in range(num_epochs): for imgs_,labels_ in train_image_ds: train_step(model,imgs_,labels_) print('.',end=' ')#每一个batch就打印一个点 print()#换行 #还可以把train——loss拿进来 train_loss_results.append(epoch_loss_avg.result()) train_acc_resuls.append(train_accuracy) print('Epoch :{}.loss: {:.3f},acc:{:.3f}'.format(epoch+1,epoch_loss_avg.result(),train_accuracy.result())) epoch_loss_avg.reset_states()#重置目前的loss,这样就可以只用到了目前的平均loss train_accuracy.reset_states()
我还没训练完,就给大家看看前面两个epoch的输出吧!
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Epoch :1.loss: 0.695,acc:0.491 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Epoch :2.loss: 0.693,acc:0.500
这就是tensorflow当中的图像数据增强的使用方法,希望大家能够学到些东西。
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Tensorflow实现图像数据增强(Data Augmentation) - Python技术站