深度学习

 正则化方法有如下几种：  其中L2、L1参数正则化介绍与关系如下 1、L2 参数正则化 直观解释如下： 2、L1 参数正则化   二、获取更多数据（扩样本）         避免过拟合的基本方法之一是从数据源获得更多数据，当训练数据有限时，可以通过数据增强（data augmentation）变换原有的数据生成新的数据来扩大训练集。即使拥有大量数据，进行数…

过去几年，深度神经网络在模式识别中占绝对主流。它们在许多计算机视觉任务中完爆之前的顶尖算法。在语音识别上也有这个趋势了。而中文文本处理，以及中文自然语言处理上，似乎没有太厉害的成果？尤其是中文短文本处理的问题上，尚且没有太成功的应用于分布式条件下的深度处理模型？（大公司或许有，但没有开源）本文暂且梳理一下，尝试围绕深度学习和 短文本处理的方方面面就最简单的概…

在深度学习中，监督类学习问题其实就是在规则化参数同时最小化误差。最小化误差目的是让模型拟合训练数据，而规则化参数的目的是防止模型过分拟合训练数据。 参数太多，会导致模型复杂度上升，容易过拟合，也就是训练误差小，测试误差大。因此，我们需要保证模型足够简单，并在此基础上训练误差小，这样训练得到的参数才能保证测试误差也小，而模型简单就是通过规则函数来实现的。 规则…

　　相对于深度学习，传统机器学习的流程往往由多个独立的模块组成，比如在一个典型的自然语言处理（Natural Language Processing）问题中，包括分词、词性标注、句法分析、语义分析等多个独立步骤，每个步骤是一个独立的任务，其结果的好坏会影响到下一步骤，从而影响整个训练的结果，这是非端到端的。     　　而深度学习模型在训练过程中，从输入端（…

一、独显 二、装驱动 https://www.nvidia.cn/Download/index.aspx?lang=cn 三、装cuda 通用gpu加速库 1、查看gpu支持的对高版本的cuda nvdia控制面板——帮助——系统信息——组件 2、下载cuda https://developer.nvidia.com/cuda-toolkit-archive…

最近看了一下深度学习的表征学习，总结并记录与一下学习笔记。 1.在标签数据集中做的监督学习容易导致过拟合，半监督学习由于可以从无标签数据集中学习，可以有一定概率化解这种情况。 2.深度学习所使用的算法不能太复杂，否则会加大计算复杂度和工作量。 3.逐层贪婪的无监督预训练有这几个特点： （1）贪婪：基于贪婪算法，独立优化问题解的各方面，但是每次只优化一个方面，…

在人们的不断探索下，「使用人工智能自动生成网页」的方法已经变得越来越接近实用化了。本文介绍的这种名为 SketchCode 的卷积神经网络能够把网站图形用户界面的设计草图直接转译成代码行，为前端开发者们分担部分设计流程。目前，该模型在训练后的 BLEU 得分已达 0.76。 你可以在 GitHub 上找到这个项目的代码：https://github.com/…

写在前面： 　　最近，跟着彭亮在麦子学院学习人工智能相关的课程，课程讲的很好，所以打算一边学，一边记。这个系列就当是一个学习笔记。希望可以帮助到更多的人。 　　注明：此系列课程适用人员为有一定编程基础，最好有Python的编程基础的从业人员，或相关行业的从业人员，另外所有的人工智能相关的课程，无论是深度学习，还是机器学习。或多或少的都需要一定的数学基础。关于…

ReLU层的设计： ReLU函数： 　　 导数： 　　 class Relu: def __init__(self): self.mask=None def forword(self,x): self.mask=(x<0) #变量mask是由True/False构成的Numpy数组 out=x.copy() out[self.mask]=0 retur…

#######编程环境：Anaconda3 (64-bit)->Spyder(python3.5)from keras.models import Sequential #引入keras库 from keras.layers.core import Dense, Activation model = Sequential() #建立模型 model.a…