文本预处理

步骤：

  1. 读入文本
  2. 分词
  3. 建立字典，将每个词映射到一个唯一的索引
  4. 把文本从词的序列转化为索引的序列（把token转化为数，方便输入模型）

分词

把句子分成若干token，使之成为 a serie of token

建立字典

把每一个token映射到一个唯一的Index

语言模型

语言模型是一种通过概率大小判断一段给定的词的序列是否合理的模型，分为统计语言模型和神经网络语言模型两种。

一段自然语言文本可以看作是一个离散时间序列，给定一个长度为T的序列

n元语法（n-gram）是一种基于n-1阶马尔科夫链的概率（统计)语言模型，通过马尔可夫假设简化原模型。
Task2:文本预处理；语言模型； 循环神经网络基础知识点总结
n较小时，往往不准确；
n元语法的缺陷为：参数空间过大，数据很稀疏（很多都为零）。

循环神经网络

目的： 基于当前输入和过去输入序列，预测序列的下一个字符。

隐藏变量Ht基于Xt和Ht-1,可理解为包含到当前字符为止的所有序列信息。

One-hot向量

为了把字符表示为向量：若字典大小为N，字符对应索引取值于0到N-1。该向量长度为N，若该字符的索引为i，则该向量第i个位置为1，其余为0.