汇总

Tokenizer分词器（类）

Tokenizer.fit_on_texts分词器方法：实现分词

Tokenizer.texts_to_sequences分词器方法：输出向量序列

pad_sequences进行padding

具体示例和代码分析

分词器分词和向量化

主要的类是Tokenizer，用到其中的一些方法将文本转换为序列。需要注意的是这个类的一些默认方法

  • filters：默认会过滤一些标点符号，标点符号和单词之间没有空格也没关系。内部代码是先把标点符号替换为空格，然后进行分词，所以的这样的："eat!Some"也可以正确识别
  • lower=True：默认会转为小写
  • split=" "：默认是空格

这些方法都已经实现，所以在可以不用自己写，直接设置参数就行。另外两个参数：

  • num_words：处理的最大单词数量。
  • char_level: 默认False，如果是True，返回字符向量化结果（char embedding的时候可以用到）

还有就是注意必须先进行fit_on_texts方法，然后进行texts_to_sequences。fit_on_texts后有两个有用的输出：

  • word_counts：词频统计结果
  • word_index：词和index的对应关系

texts_to_sequences输出的是根据对应关系输出的向量序列，是不定长的，跟句子的长度有关系。

 

from keras.preprocessing.text import Tokenizer
text1='Some ThING to eat !'
text2='some thing to drink .'
texts=[text1,text2]
print(texts)
#out:['Some ThING to eat !', 'some thing to drink .']
tokenizer = Tokenizer(num_words=100) #num_words:None或整数,处理的最大单词数量。少于此数的单词丢掉
tokenizer.fit_on_texts(texts)
print( tokenizer.word_counts) 
#out:OrderedDict([('some', 2), ('thing', 2), ('to', 2), ('eat', 1), ('drink', 1)])
print( tokenizer.word_index) 
#out:{'some': 1, 'thing': 2, 'to': 3, 'eat': 4, 'drink': 5}
sequences = tokenizer.texts_to_sequences(texts)
word_index = tokenizer.word_index
print(sequences)
#out:[[1, 2, 3, 4], [1, 2, 3, 5]] 转换为序列，注意这里句子等长，所以输出一样，但是不等长句子输出的长度是不一样的
print('Found %s unique tokens.' % len(word_index))
#out:Found 5 unique tokens.

填充至等长

pad_sequences,对上面生成的不定长序列进行补全。可以手动设定每个句子的最大长度参数，大于这个长度截断，小于这个长度填充。注意：默认补全和截断都是在句子前面进行填充和截断。这里是用0进行填充，也就是空格，这也是为什么上面序列index起始是1的原因。

#接上面的代码
SEQ_LEN = 10
data = pad_sequences(sequences, maxlen=SEQ_LEN)
print(data)
#out:[[0 0 0 0 0 0 1 2 3 4]
# [0 0 0 0 0 0 1 2 3 5]]

 

来自 https://zhuanlan.zhihu.com/p/55412623