最近一直在研究机器学习,看过两本机器学习的书,然后又看到深度学习,对深度学习产生了浓厚的兴趣,希望短时间内可以做到深度学习的入门和实践,因此写一个深度学习系列吧,通过实践来掌握《深度学习》和 TensorFlow,希望做成一个系列出来,加油!

 

学习内容包括了:

1. 小象学院的《深度学习》课程

2. TensorFlow的官方教程

3. 互联网上跟深度学习相关的教程

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

整个深度学习,学习的过程是通过一条主线串联起来的,这个知识结构总结的还是蛮好的。

1. 线性回归 - 线性回归是基础。

2. 神经网络 - 线性回归引入非线性激励(保留线性函数的信息,但是又要转化成为非线性,为啥呢?线性的描述能力太有限了,大部分复杂问题都是非线性的)就形成了神经元,神经元组合在一起就构成了最基础的神经网络,神经元和神经网络都是深度学习的基础。

3. 卷积神经网络(CNN)- 神经网络,通过卷积核构建成为CNN(卷积神经网络),为什么引入卷积核?如何引入卷积核?需要好好再理解和分析一下。

4. 卷积神经网络(CNN)- 目标分类,图像识别,人脸识别,物品识别,场景识别,文字识别,把卷积神经网络研究明白就可以完成大量的目标分类的功能。

5. 卷积神经网络(CNN)- 目标监测, 安防,自动驾驶,卷积神经网络的进一步应用场景。

6. 循环神经网络(RNN)- CNN时域迭代形成循环神经网络

7. LSTM - Word2vec - 语句生成,自动翻译,智能对话

8. 增强学习 - 围棋,德州扑克,自动游戏

9. 生成网络,判别网络,对抗网络 - 无限数据

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

 计划与期望效果:

1. 理论讲解,模型分析

2. TensorFlow 实例运行,调试(源码共享)

3. 思想总结,资源分享,论文推荐,方便课后研究

能力进阶:

1. 入门:明白概念,练习和原理。

2. 实践:能够运用模型展开具体应用开发。

3. 提升:根据具体问题设计新的模型。

总结:理论+实践+总结 => 解决全新的问题

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

提纲:

1. 深度学习:传统到现在

2. 深度学习应用特点

3. 深度学习框架比较

4. TensorFlow 介绍

5. 一些基本深度学习概念

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

 期待目标:

1. 了解深度学习发展

2. 清楚深度学习能力范围

3. 知道常见深度学习框架

4. 会 安装、运行、简单调试 TensorFlow,了解 TF运行方式

5. 了解:神经元,卷积核,分类,回归等基本概念

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

 【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

深度学习:传统到现在

1. 传统机器学习

数据预处理 -> 特征提取 -> 选择分类器

数据预处理:归一化,降维,去噪

特征提取:人工设计模式图像:SIFT,LBP,Fisher,Gabor,Hog 语言:MFCC,小波,Word2vec

选择分类器:SVM,决策树,随机森林,贝叶斯网络,线性回归,聚类

2. 深度学习

数据准备:数据,标签

设计模型:CNN,RNN,CNN+RNN

训练:调结构,损失函数,训练函数

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

2010年 NEC-UIUC Lin CVPR 2011

2012年 SuperVision

2014年 GoogLeNet VGG

2015年 MSRA

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

推动因素:

1. 理论:CNN,RNN,ReLU

2. 数据:ImageNet,LFW

3. 硬件:Nvidia CUDA + GPU

总结:深度学习 = 硬件(CPU+GPU+FPGA+TPU) + 算法(CNN,RNN,ReLU)+大数据(ImageNet)

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

未来可能进展 - 无人驾驶

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

未来可能进展 - 无人超市

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

未来可能进展 - 自动翻译

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

 未来可能进展 - 个人助手

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

深度学习应用特点:

优点:

学习能力强

覆盖范围广,适用性好

可移植性好

ImageNet -> ImageNet Model -> 物品分类,目标检测,人脸计算,场景识别,生成图片

总结:5种类型的应用:物品分类,目标检测,人脸计算,场景识别,生成图像

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

缺点:

计算量大,便携性差

硬件要求高

模型设计复杂

有可能被“Hack”

长于计算,弱于算计

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

深度学习框架比较

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

 TensorFlow Python,文档 +++,CNN兼容 +++,RNN兼容 ++,上手难易 +++,速度 ++,并行支持 ++,Keras兼容+,支持 Google

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

深度学习框架比较:

本课程选择:TensorFlow

1. 文档丰富,适合初学者

2. 安装非常方便

3. 谷歌支持,长期有效

4. 自动求导,只需关注模型设计

5. Keras支持,方便迅速开发

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

原因:

1. 统一模型标准,方便交流

2. 维持地位:TPU, Google Cloud,Future Market

3. 影响力 TF2016 

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

 【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

 【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

TensorFlow 介绍 - 实例程序运行

1. 简单程序:直线方程拟合(见Code:course_1_tf_lr.py)

2. 基本迭代:迭代次数,Learning Rate,模型结构,误差对比

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

 深度学习基本概念 - 神经元

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

 深度学习基本概念 - 卷积核 - 图像处理基本算子(边界算子)

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

卷积核 - CNN卷积核Plot

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

 【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍

 

 本节总结:

1. 了解深度学习发展

2. 清楚深度学习能力范围

3. 知道常见的深度学习框架

4. 会安装、运行、简单更改 TensorFlow

5. 了解:神经元,卷积核,分类,回归等基本概念

总结:

 

 

课程代码:https://github.com/wiibrew/DeepLearningCourseCodes 

 

 

https://github.com/wiibrew/DeepLearningCourseCodes/blob/master/course_1_tf_basic_operation.py

 

https://github.com/wiibrew/DeepLearningCourseCodes/blob/master/course_1_tf_lr.ipynb

 

https://github.com/wiibrew/DeepLearningCourseCodes/blob/master/course_1_tf_lr.ipynb

 

【原创 深度学习与TensorFlow 动手实践系列 - 1】第一课:深度学习总体介绍