数据集介绍
包含来自互联网电影数据库的50000条影评文本,对半拆分为训练集和测试集。训练集和测试集之间达成了平衡,意味着它们包含相同数量的正面和负面影评,每个样本都是一个整数数组,表示影评中的字词。每个标签都是整数值 0 或 1,其中 0 表示负面影评,1 表示正面影评。
注意事项
- 如果下载imdb数据集失败,可以在我的Github上下载:https://github.com/MartinLwx/ML-DL
- 影评文本已转换为整数,其中每个整数都表示字典中的一个特定字词
- 由于影评的长度必须相同,我们将使用pad_sequences函数将长度标准化
- 创建验证集
代码
import tensorflow as tf
import keras
import numpy as np
imdb = keras.datasets.imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)
#填充数据
train_data = keras.preprocessing.sequence.pad_sequences(train_data,
value=0,
padding='post',
maxlen=256)
test_data = keras.preprocessing.sequence.pad_sequences(test_data,
value=0,
padding='post',
maxlen=256)
#构建模型
vocab_size = 10000
model = keras.Sequential()
model.add(keras.layers.Embedding(vocab_size, 16))
model.add(keras.layers.GlobalAveragePooling1D()) #对序列维度求平均值
model.add(keras.layers.Dense(16, activation=tf.nn.relu))
model.add(keras.layers.Dense(1, activation=tf.nn.sigmoid))
model.summary()
model.compile(optimizer=tf.train.AdamOptimizer(),
loss='binary_crossentropy',
metrics=['accuracy'])
#创建验证集
x_val = train_data[:10000]
partial_x_train = train_data[10000:]
y_val = train_labels[:10000]
partial_y_train = train_labels[10000:]
history = model.fit(partial_x_train,
partial_y_train,
epochs=40,
batch_size=512,
validation_data=(x_val, y_val),
verbose=1) #训练集和测试集正确率分别是:97.87%,88.14%
result = model.evaluate(test_data,test_labels) #返回损失和准确率,我运行的结果是[0.34126000656127931, 0.86899999999999999]
参考
https://www.tensorflow.org/tutorials/keras/basic_text_classification?hl=zh-cn
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:用keras实现基本的文本分类任务 - Python技术站