最近看了吴恩达老师的深度学习课程,又看了python深度学习这本书,对深度学习有了大概的了解,但是在实战的时候,

还是会有一些细枝末节没有完全弄懂,这篇文章就用来总结一下用keras实现深度学习算法的时候一些我自己很容易搞错的点。

 一、与序列文本有关

1.仅对序列文本进行one-hot编码

比如:使用路透社数据集(包含许多短新闻及其对应的主题,包括46个不同的主题,每个主题有至少10个样本)

from keras.datasets import reuters
(train_data,train_labels),(test_data,test_labels) = reuters.load_data(new_words=10000)

加载数据集时,参数new_words=10000表示将数据限定为前10000个最常出现的单词

 

有8982个训练样本和2246个测试样本

 

每个样本都是一个整数列表(表示单词的索引)

 

word_index=reuters.get_word_index()
reverse_word_index=dict([(value,key) for (key,value) in word_index.items()])
decoded_newswire = \' \'.join([reverse_word_index.get(i-3,\'?\') for i in train_data[0]])

将索引解码为新闻文本

这里举个例子将训练集的第一条样本取出来,将它解码为文本

import numpy as np
def vectorize_sequences(sequences,dimension=10000):
    results = np.zeros((len(sequences),dimension))
    for i, sequence in enumerate(sequences):
        results[i,sequence] = 1
    return results

x_train = vectorize_sequences(train_data) 
x_test = vectorize_sequences(test_data)

编码数据

把每个样本sequence编码为长度为10000的向量

#方法一:自定义one-hot
def to_one_hot(labels,dimension=46):
    results = np.zeros((len(labels),dimension))
    for i,label in enumerte(labels):
        results[i,label] = i.
    return results

one_hot_train_labels = to_one_hot(train_labels)
  

#方法二:keras内置方法
from keras.utils.np_utils import to_categorical

one_hot_train_labels = to_categorical(train_labels)

标签向量化有两种方法:

第一种是自定义的one-hot编码,将标签列表转换为整数张量

第二种是keras内置的方法

 

 

2.keras的Embedding层【Embedding层只能作为模型的第一层

keras.layers.embeddings.Embedding(
input_dim, 
output_dim,
embeddings_initializer=\'uniform\', 
embeddings_regularizer=None, 
activity_regularizer=None, 
embeddings_constraint=None, 
mask_zero=False, 
input_length=None
)
input_dim:字典长度,即输入数据最大下标+1  
output_dim:代表全连接嵌入的维度 
embeddings_initializer=\'uniform\':
嵌入矩阵的初始化方法,为预定义初始化方法名的字符串,或用于初始化权重的初始化器
embeddings_regularizer=None:
嵌入矩阵的正则项,为Regularizer对象
embeddings_constraint=None:
嵌入矩阵的约束项,为Constraints对象
input_length=None:
当输入序列的长度固定时,该值为其长度。如果要在该层后接Flatten层,
然后接Dense层,则必须指定该参数,否则Dense层的输出维度无法自动推断。
mask_zero:布尔值,确定是否将输入中的‘0’看作是应该被忽略的‘填充’
(padding)值,该参数在使用递归层处理变长输入时有用。设置为True的话,
模型中后续的层必须都支持masking,否则会抛出异常。如果该值为True,
则下标0在字典中不可用,input_dim应设置为|vocabulary| + 2。

  输入 (samples,sequence_length)的2D张量 
  输出   (samples, sequence_length, output_dim)的3D张量

 

嵌入层将正整数(下标)转换为具有固定大小的向量,如[[4],[20]]->[[0.25,0.1],[0.6,-0.2]]

[[4],[20]]表示一句话由两个单词组成,第一个单词在词向量的位置为4,第二个单词位置为20

而位置为4的单词,对应的二维词向量就是[0.25,0.1];类似,位置为20的单词的词向量为[0.6,-0.2]

下面简单描述一下:

在Keras模型中one-hot编码,Embedding层,使用预训练的词向量/处理图片

上图的流程是把文章的单词使用词向量来表示。
(1)提取文章所有的单词,把其按其出现的次数降序(这里只取前50000个),比如单词‘network’出现的次数最多,编号ID为0,依次类推…

(2)每个编号ID都可以使用50000维的二进制(one-hot)表示

(3)最后,我们会生产一个矩阵M,行大小为词的个数50000,列大小为词向量的维度(通常取128或300),比如矩阵的第一行就是编号ID=0,即network对应的词向量。

那这个矩阵M怎么获得呢?在Skip-Gram 模型中,我们会随机初始化它,然后使用神经网络来训练这个权重矩阵

 

3.在Keras模型中使用预训练的词向量

在Keras模型中one-hot编码,Embedding层,使用预训练的词向量/处理图片

这个例子展示了两个样本通过embedding层,两个样本都经过了`max_len=5`的填充处理,

最终的维度就变成了`(2, max_len, 5)`,这是因为使用了50维的词嵌入。

 

首先拿到一段文本,要想通过该文本完成分类或其他的任务,就必须要把这个文本转成词向量的形式。

先对训练集进行按行切分(或者,已经有一个所有句子的列表了),然后找到单词数最大的那行作为max_len,这个待会要输入模型中的

对于没达到max_len的句子,可以通过把句子给扩充为max_len长度

import keras.preprocessing.sequence import pad_sequences
pad_sequences(sequences,maxlen=max_len)

然后得到每行单词对应的词向量,现在所有行的维度应该是(行数,单词数最多的那行对应的单词个数,每个单词词向量的维度) 

模型的输入是(一批多少序列batch,输入长度input_length)

word index单词索引不超过999,词向量的个数上限值1000
输出是(None,10,64) None表示batch的维度(个数),64是每个单词的词向量的维度
model = Sequential()
model.add(Embedding(1000, 64, input_length=10))
input_array = np.random.randint(1000, size=(32, 10))#32句话,每句话10个单词

model.compile(\'rmsprop\', \'mse\')
output_array = model.predict(input_array)
assert output_array.shape == (32, 10, 64) #32句话,每句话10个单词,每个单词有64维的词向量

4. 当多个循环层堆叠时,前面所有循环层中间层都需要返回完整的输出序列,最后一层仅返回最终输出  

 在Keras模型中one-hot编码,Embedding层,使用预训练的词向量/处理图片

 

 二与图片数据有关

 1.处理一张输入图像,改成模型规定输入格式才能输入模型中

from keras.preprocessing import image
from keras.applications.vgg16 import preprocess_input,decode_predictions
import numpy as np

img_path = \'图片的路径\'
img = image.load_img(img_path,target_size=(224,224)) #224 224是模型要求输入大小

x = image.img_to_array(image)#将图片转换为(224,224,3)的float32格式的numpy数组

x = np.expand_dims(x,axis=0)#添加一个维度,将数组转换为(1,224,224,3)形状的批量,
#因为keras模型是以batch作为输入的,所以一张图片就相当于batch=1

x = preprocess_input(x)#对批量进行预处理(按通道进行颜色标准化)

preds = model.predict(x)

2.输入图像的张量,显示图片

注意:这里图像的张量,取值可能不是[0,255]区间内的整数,需要对这个张量进行后处理,将其转换为可显示的图像

def deprocess_image(x):
    x -= x.mean() #对张量做标准化,使其均值为0,标准差为0.1
    x /= (x.std() + 1e-5)
    x *= 0.1

    x += 0.5
    x = np.clip(x,0,1) #将x裁切(clip)到[0,1]区间
    
    x *= 255
    x = np.clip(x,0,255).astype(\'uint8\') #将x转换为RGB数组
    return x

#执行下面这句话就能看到图片了
#例:image的大小为(150,150,3)
plt.imshow(deprocess_image(image))

3.我们拿到的训练数据一般不是同一个大小的,需要将图像全部调整成指定大小的

from keras.preprocessing.image import ImageDataGenerator

train_datagen = ImageDataGenerator(rescale = 1./255) #将所有图像乘以1/255缩放
test_datagen = ImageDataGenerator(rescale = 1./255)

train_generator = train_datagen.flow_from_directory(
            train_dir,
            target_size=(150,150),#将所有图像的大小调整为(255,255)
            batch_size = 20,
            class_mode = \'binary, #这里目标是二分类,所以用二进制标签
)       

 

三、常见的误差与精确性指标

误差

  • mean_squared_error / mse  均方误差,常用的目标函数,公式为((y_pred-y_true)**2).mean()
  • mean_absolute_error / mae 绝对值均差,公式为(|y_pred-y_true|).mean()
  • mean_absolute_percentage_error / mape公式为:(|(y_true - y_pred) / clip((|y_true|),epsilon, infinite)|).mean(axis=-1) * 100,和mae的区别就是,累加的是(预测值与实际值的差)除以(剔除不介于epsilon和infinite之间的实际值),然后求均值。
  • mean_squared_logarithmic_error / msle公式为: (log(clip(y_pred, epsilon, infinite)+1)- log(clip(y_true, epsilon,infinite)+1.))^2.mean(axis=-1),这个就是加入了log对数,剔除不介于epsilon和infinite之间的预测值与实际值之后,然后取对数,作差,平方,累加求均值。
  • squared_hinge 公式为:(max(1-y_true*y_pred,0))^2.mean(axis=-1),取1减去预测值与实际值乘积的结果与0比相对大的值的平方的累加均值。
  • hinge 公式为:(max(1-y_true*y_pred,0)).mean(axis=-1),取1减去预测值与实际值乘积的结果与0比相对大的值的的累加均值。
  • binary_crossentropy: 常说的逻辑回归, 就是常用的交叉熵函数
  • categorical_crossentropy: 多分类的逻辑, 交叉熵函数的一种变形吧,没看太明白

精确性

  • binary_accuracy: 对二分类问题,计算在所有预测值上的平均正确率
  • categorical_accuracy:对多分类问题,计算再所有预测值上的平均正确率
  • sparse_categorical_accuracy:与categorical_accuracy相同,在对稀疏的目标值预测时有用
  • top_k_categorical_accracy: 计算top-k正确率,当预测值的前k个值中存在目标类别即认为预测正确
  • sparse_top_k_categorical_accuracy:与top_k_categorical_accracy作用相同,但适用于稀疏情况

参考文献 

一文详解 Word2vec 之 Skip-Gram 模型(结构篇) 

深度学习中Embedding层有什么用?