2006年，Hinton提出了在非监督数据上建立多层神经网络的一个有效方法，具体分为两步：首先逐层构建单层神经元，这样每次都是训练一个单层网络；当所有层训练完后，使用wake-sleep算法进行调优。[6]将除**顶层的其他层间的权重变为双向的，这样**顶层仍然是一个单层神经网络，而其他层则变为了图模型。向上的权重用于“认知”，向下的权重用于“生成”。然后使用wake-sleep算法调整所有的权重。让认知和生成达成一致，也就是保证生成的**顶层表示能够尽可能正确的复原底层的节点。比如顶层的一个节点表示人脸，那么所有人脸的图像应该***这个节点，并且这个结果向下生成的图像应该能够表现为一个大概的人脸图像。wake-sleep算法分为醒(wake)和睡(sleep)两个部分。[6]wake阶段：认知过程，通过外界的特征和向上的权重产生每一层的抽象表示，并且使用梯度下降修改层间的下行权重。[6]sleep阶段：生成过程，通过顶层表示和向下权重，生成底层的状态，同时修改层间向上的权重。 人工智能课程内容-成都深度智谷。宁夏深度学习培训西安
深度学习框架中涉及很多参数，如果一些基本的参数如果不了解，那么你去看任何一个深度学习框架是都会觉得很困难，下面介绍几个新手常问的几个参数。batch深度学习的优化算法，说白了就是梯度下降。每次的参数更新有两种方式。第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batchgradientdescent，批梯度下降。另一种，每看一个数据就算一下损失函数，然后求梯度更新参数，这个称为随机梯度下降，stochasticgradientdescent。这个方法速度比较快，但是收敛性能不太好，可能在比较好点附近晃来晃去，hit不到比较好点。两次参数的更新也有可能互相抵消掉，造成目标函数震荡的比较剧烈。为了克服两种方法的缺点，现在一般采用的是一种折中手段，mini-batchgradientdecent，小批的梯度下降，这种方法把数据分为若干个批，按批来更新参数，这样，一个批中的一组数据共同决定了本次梯度的方向，下降起来就不容易跑偏，减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多，计算量也不是很大。 上海吴正宪深度学习培训心得深度人工智能学院以“传播人工智能教育，培养人工智能人才”为己任，为中国科技发展加油！
因此，深度学习的一个外在特点是端到端的训练。也就是说，并不是将单独调试的部分拼凑起来组成一个系统，而是将整个系统组建好之后一起训练。比如说，计算机视觉科学家之前曾一度将特征抽取与机器学习模型的构建分开处理，像是Canny边缘探测[20]和SIFT特征提取[21]曾占据统治性地位达10年以上，但这也就是人类能找到的比较好方法了。当深度学习进入这个领域后，这些特征提取方法就被性能更强的自动优化的逐级过滤器替代了。相似地，在自然语言处理领域，词袋模型多年来都被认为是****[22]。词袋模型是将一个句子映射到一个词频向量的模型，但这样的做法完全忽视了单词的排列顺序或者句中的标点符号。不幸的是，我们也没有能力来手工抽取更好的特征。但是自动化的算法反而可以从所有可能的特征中搜寻比较好的那个，这也带来了极大的进步。例如，语义相关的词嵌入能够在向量空间中完成如下推理：“柏林-德国+中国=北京”。可以看出，这些都是端到端训练整个系统带来的效果。
深度学习框架，尤其是基于人工神经网络的框架可以追溯到1980年福岛邦彦提出的新认知机，而人工神经网络的历史则更为久远，甚至可以追溯到公元前亚里士多德为了解释人类大脑的运行规律而提出的联想主义心理学。1989年，扬·勒丘恩（YannLeCun）等人开始将1974年提出的标准反向传播算法应用于深度神经网络，这一网络被用于手写邮政编码识别，并且在美国成功地被银行商业化应用了，轰动一时。2007年前后，杰弗里·辛顿和鲁斯兰·萨拉赫丁诺夫（RuslanSalakhutdinov）提出了一种在前馈神经网络中进行有效训练的算法。这一算法将网络中的每一层视为无监督的受限玻尔兹曼机（RBM），再使用有监督的反向传播算法进行调优。之后，由Hinton等人创造的深度置信网络（DBN）指出，RBM可以以贪婪的方式进行堆叠和训练，也掀起了深度学习的研究热潮。2009年，又进一步提出DeepBoltzmannMachine，它与DBN的区别在于，DBM允许在底层中双向连接。因此，用DBM表示堆叠的RBM，比用DBN好得多。 深度人工智能学院有单独的课程研发机构、教学培训机构、教务管理机构、咨询顾问机构、就业服务机构。
截止现在，也出现了不少NB的特征（好的特征应具有不变性（大小、尺度和旋转等）和可区分性）：例如Sift的出现，是局部图像特征描述子研究领域一项里程碑式的工作。由于SIFT对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性，并且SIFT具有很强的可区分性，的确让很多问题的解决变为可能。但它也不是***的。然而，手工地选取特征是一件非常费力、启发式（需要专业知识）的方法，能不能选取好很大程度上靠经验和运气，而且它的调节需要大量的时间。既然手工选取特征不太好，那么能不能自动地学习一些特征呢？答案是能！DeepLearning就是用来干这个事情的，看它的一个别名UnsupervisedFeatureLearning，就可以顾名思义了，Unsupervised的意思就是不要人参与特征的选取过程。那它是怎么学习的呢？怎么知道哪些特征好哪些不好呢？我们说机器学习是一门专门研究计算机怎样模拟或实现人类的学习行为的学科。好，那我们人的视觉系统是怎么工作的呢？为什么在茫茫人海，芸芸众生，滚滚红尘中我们都可以找到另一个她（因为，你存在我深深的脑海里，我的梦里我的心里我的歌声里……）。人脑那么NB，我们能不能参考人脑，模拟人脑呢？（好像和人脑扯上点关系的特征啊，算法啊。 深度人工智能学院开展了人工智能售前工程师就业班。辽宁吴正宪深度学习培训心得
成都人工智能培训机构-成都深度智谷。宁夏深度学习培训西安
假设深度学习要处理的信息是“水流”，而处理数据的深度学习网络是一个由管道和阀门组成的巨大水管网络。网络的入口是若干管道开口，网络的出口也是若干管道开口。这个水管网络有许多层，每一层由许多个可以控制水流流向与流量的调节阀。根据不同任务的需要，水管网络的层数、每层的调节阀数量可以有不同的变化组合。对复杂任务来说，调节阀的总数可以成千上万甚至更多。水管网络中，每一层的每个调节阀都通过水管与下一层的所有调节阀连接起来，组成一个从前到后，逐层完全连通的水流系统。那么，计算机该如何使用这个庞大的水管网络来学习识字呢？比如，当计算机看到一张写有“田”字的图片，就简单将组成这张图片的所有数字（在计算机里，图片的每个颜色点都是用“0”和“1”组成的数字来表示的）全都变成信息的水流，从入口灌进水管网络。 宁夏深度学习培训西安
成都深度智谷科技有限公司是一家人工智能基础软件开发；人工智能教育服务；云计算装备技术服务；人工智能通用应用系统；企业管理咨询；技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广；人工智能行业应用系统集成服务；互联网数据服务。的公司，致力于发展为创新务实、诚实可信的企业。公司自创立以来，投身于人工智能培训，深度学习培训，AI培训，AI算法工程师培训，是教育培训的主力军。深度智谷致力于把技术上的创新展现成对用户产品上的贴心，为用户带来良好体验。深度智谷始终关注自身，在风云变化的时代，对自身的建设毫不懈怠，高度的专注与执着使深度智谷在行业的从容而自信。
