深度学习

深度学习（Deep Learning）是机器学习方法之一，基于数据提取和分析，与特定目标算法相对应，可采用监督、半监督或无监督学习等方式。

概述

深度学习首先通过大规模的迭代实验（调参实验）逼近所能达到的最高识别准确率，然后用对应的（参数和）模型对新样本（图像、声音等）提取关键特征，并基于该特征，利用已训练好的分类模型预测新样本的类别。

发展历程

• 1943，心理学家W.S.McCulloch，数理逻辑学家W.Pitts，首次提出神经元计算模型；
• 1957，Frank Rosenblatt，首次提出感知器概念；
• 1969，Marvin Minsky，Seymour Papert，出版Perceptron一书，论证感知器不能解决异或问题，深度学习的发展进入低谷期；
• 1986，DE Rumelhart，G.E. Hinton，R.J. Williams，在Nature杂志发表论文，提出误差后向传播（Error Back Propagation，EBP）算法，解决异或问题，研究新热潮；
• 1989，Yan Lecun，手写邮政编码识别的应用，提出卷积神经网络；
• 2006，多伦多大学计算机系，Geoffery Hinton，在Science杂志发表论文，基于深度信念网络（Deep Belief Networks，DBN）的非监督的逐层训练算法，解决训练难度大问题；
• 2016，Google推出深度学习平台TensorFlow，Facebook发布基于Torch的深度学习框架Torchnet；

应用

• 图像识别领域
• 语音识别领域
• 自然语言处理（NLP）领域

上手

深度学习开发框架

• Torch，基于Lua实现的开源库，需要自己编写训练过程的代码；
• Caffe，基于C++实现的开源库，提供Python、Matlab外部接口，修改配置文件、网络参数来调参，支持CPU和GPU两种模式的无缝切换；
• Theano，基于Python实现的的开源库，有效定义、优化、计算关于多维数组数学表达式；
• Pylearn2，基于Theano的深度学习工具；

参考链接

• Wikipedia: Deep learning
• 百度百科：深度学习
• 深度学习，【美】伊恩·古德费洛 /【加】约书亚·本吉奥 /【加】亚伦·库维尔，豆瓣读书
• 深度学习，张重生，豆瓣读书