典型的卷积神经网络
LeNet-5
AlexNet
Inception网络
Inception网络
在卷积网络中，如何设置卷积层的卷积核大小是十分关键的问题 Inception网络尝试多种不同的卷积核 最后给堆叠起来
使用多层的小卷积核来代替大的卷积核，以减少计算量和参数量
残差网络 当时先用一个f(x)来拟合h(x) 但是发现恒等函数拟合效果不好 因此将目标函数拆分为两给部分 恒等函数和残差函数
残差单元
Ngram特征(N元)与卷积 Bigrams 二元将两个词作为一组 放入模型中
基于卷积模型的句子表示
CNN可视化：滤波器
前馈神经网络：如全连接和卷积 输入和输出的维数都是固定的 不能随意改变 无法处理变长的序列数据
给相同的输入也可以产生不同的输出 ，举例有限状态自动机：
可计算问题： 前馈神经网络不能去拟合图灵机 图灵机的状态不仅由当前的状态决定而且还和之前的状态有关
如何给网络增加记忆能力：
延时神经网络
自回归模型
非线性自回归模型
循环神经网络 RNN
按时间展开 即深又窄的
简单循环网络
RNN 可以实现图灵完备
本站文章如无特殊说明，均为本站原创，如若转载，请注明出处：邱锡鹏 神经网络与深度学习课程【八】——卷积神经网络3和循环神经网络1 - Python技术站
微信扫一扫 
支付宝扫一扫 