深度学习

深度学习（Deep Learning）是机器学习方法之一，基于数据提取和分析，与特定目标算法相对应，可采用监督、半监督或无监督学习等方式。

概述

深度学习首先通过大规模的迭代实验（调参实验）逼近所能达到的最高识别准确率，然后用对应的（参数和）模型对新样本（图像、声音等）提取关键特征，并基于该特征，利用已训练好的分类模型预测新样本的类别。

发展历程

• 1943，心理学家W.S.McCulloch，数理逻辑学家W.Pitts，首次提出神经元计算模型；
• 1957，Frank Rosenblatt，首次提出感知器概念；
• 1969，Marvin Minsky，Seymour Papert，出版Perceptron一书，论证感知器不能解决异或问题，深度学习的发展进入低谷期；
• 1986，DE Rumelhart，G.E. Hinton，R.J. Williams，在Nature杂志发表论文，提出误差后向传播算法，解决异或问题，研究新热潮；
• 1989，Yan Lecun，手写邮政编码识别的应用，提出卷积神经网络；
• 2006，多伦多大学计算机系，Geoffery Hinton，在Science杂志发表论文，基于深度信念网络的非监督的逐层训练算法，解决训练难度大问题；
• 2016，Google推出深度学习平台TensorFlow，Facebook发布基于Torch的深度学习框架Torchnet；

相关概念

• 人工神经网络（Artificial neural networks，ANN）
• 卷积神经网络（Convolutional Neural Nets，CNN）
• 递归神经网络（Recurrent Neural Nets，RNN）
• 深度神经网路（Deep Neural Nets，DNN）
• 深度信念网络（Deep Belief Networks，DBN）
• 误差后向传播算法（Error Back Propagation，EBP）

应用

• 图像识别（Image recognition）
• 语音识别（Speech recognition）
• 自然语言处理（Natural language processing，NLP）
• 药物研发与毒理学（Drug discovery and toxicology）
• 客户关系管理（Customer relationship management）
• 推荐系统（Recommendation systems）
• 生物信息学（Bioinformatics）
• 移动广告（Mobile advertising）
• 图像复原（Image restoration）
• 金融欺诈检测（Financial fraud detection）

上手

深度学习开发框架

• Torch，基于Lua实现的开源库，需要自己编写训练过程的代码；
• Caffe，基于C++实现的开源库，提供Python、Matlab外部接口，修改配置文件、网络参数来调参，支持CPU和GPU两种模式的无缝切换；
• Theano，基于Python实现的的开源库，有效定义、优化、计算关于多维数组数学表达式；
• Pylearn2，基于Theano的深度学习工具；

深度学习硬件支撑

• 大多采用英伟达（NVIDIA）图形处理芯片（GPU），其数据吞吐量较传统CPU有大幅提升；
• 2016年6月，业界首款深度学习超级计算机NVIDIA DGX-1发布，包括8块基于NVIDIA Pascal GPU框架的P100 GPU，半精度浮点运算峰值高达每秒170万亿次；
• 2015年，曙光联合英伟达发布X System平台，包括深度学习软件XSharp与XMachine系列的深度学习一体机，原生态支持支持NVIDIA DIGITS开发环境；
• 2015年底，Facebook将其人工智能硬件平台 Big Sur开源，装有8个NVIDIA Tesla M40；

参考链接

• Wikipedia: Deep learning
• 百度百科：深度学习
• 深度学习，【美】伊恩·古德费洛 /【加】约书亚·本吉奥 /【加】亚伦·库维尔，豆瓣读书
• 深度学习，张重生，豆瓣读书