调参技巧

  • 层叠LSTM的层时 尽量保持两个隐藏层个数一致 收敛的快的多
  • 两层LSTM比一层好很多
  • 激活函数很重要 relu通常效果比较好
  • 学习率太大(0.02),记得要是0.001数量级的学习率,否则直接不收敛,因此学习率不要太大,越小越好

  • 正则化参数
    • L1正则化效果很差
    • L2正则化 一般是0.01左右
    • 这个参数影响不太 而且容易拖累模型训练速度
  • Dropout

    • 用了和正则一样会严重拉低训练速度和准确率
    • 有一定的防止过拟合的作用 可以保证你训练误差和测试误差不会相差太大
    • 加一层比较好 参数在0.3到0.5之间
    • 不加容易过拟合
  • EPOCHS
    • 往往刚开始表现好的最终表现也很好
    • 轮数在15-20基本接近最好结果的99%

优化器

from tensorflow.keras import optimizers  
常用optimizers.Adam ,Nadam  学习率的设置在0.001数量级