language model即语言生成模型
character level language model 训练过程
训练过程的输入时给定的,结果是一个向量,进过softmax后就是为各个character的概率
测试过程 输入是前一个的输出,输出是由soft max 之后的概率分布 采样得到的
----------------------------------------------------------------------------------------------------------------------------------
如果想要用维基百科的英文语句训练RNN,那么将会无法收敛
----------------------------------------------------------------------------------------------------------------------------------
可以生成诗歌,戏剧,数学证明,c语言代码!
---------------------------------------------------------------------------------------------------------------------------------
language modeling中,隐藏层向量的各个位置是由含义的!比如,或许第一个单元就是检测引号的
可以看到,这个单元的值在引号里和引号外tanh**后的大小是不一样的
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:第十讲–循环神经网络–课时22–语言模型 - Python技术站