深度学习

来自Wiki.Citydatum
Reiziuh讨论 | 贡献2018年10月11日 (四) 19:19的版本
(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)
跳转至: 导航搜索
TODO
提示:该页面仍需进一步完善,欢迎加入我们


深度学习(Deep Learning)是机器学习方法之一,基于数据提取和分析,与特定目标算法相对应,可采用监督、半监督或无监督学习等方式。

概述

深度学习首先通过大规模的迭代实验(调参实验)逼近所能达到的最高识别准确率,然后用对应的(参数和)模型对新样本(图像、声音等)提取关键特征,并基于该特征,利用已训练好的分类模型预测新样本的类别。

发展历程

  • 1943,心理学家W.S.McCulloch,数理逻辑学家W.Pitts,首次提出神经元计算模型
  • 1957,Frank Rosenblatt,首次提出感知器概念;
  • 1969,Marvin Minsky,Seymour Papert,出版Perceptron一书,论证感知器不能解决异或问题,深度学习的发展进入低谷期;
  • 1986,DE Rumelhart,G.E. Hinton,R.J. Williams,在Nature杂志发表论文,提出误差后向传播算法,解决异或问题,研究新热潮;
  • 1989,Yan Lecun,手写邮政编码识别的应用,提出卷积神经网络;
  • 2006,多伦多大学计算机系,Geoffery Hinton,在Science杂志发表论文,基于深度信念网络的非监督的逐层训练算法,解决训练难度大问题;
  • 2016,Google推出深度学习平台TensorFlow,Facebook发布基于Torch的深度学习框架Torchnet

相关概念

应用

  • 图像识别(Image recognition)
  • 语音识别(Speech recognition)
  • 自然语言处理(Natural language processing,NLP)
  • 药物研发与毒理学(Drug discovery and toxicology)
  • 客户关系管理(Customer relationship management)
  • 推荐系统(Recommendation systems)
  • 生物信息学(Bioinformatics)
  • 移动广告(Mobile advertising)
  • 图像复原(Image restoration)
  • 金融欺诈检测(Financial fraud detection)

上手

深度学习开发框架

  • Torch,基于Lua实现的开源库,需要自己编写训练过程的代码;
  • Caffe,基于C++实现的开源库,提供Python、Matlab外部接口,修改配置文件、网络参数来调参,支持CPU和GPU两种模式的无缝切换;
  • Theano,基于Python实现的的开源库,有效定义、优化、计算关于多维数组数学表达式;
  • Pylearn2,基于Theano的深度学习工具;

深度学习硬件支撑

  • 大多采用英伟达(NVIDIA)图形处理芯片(GPU),其数据吞吐量较传统CPU有大幅提升;
  • 2016年6月,业界首款深度学习超级计算机NVIDIA DGX-1发布,包括8块基于NVIDIA Pascal GPU框架的P100 GPU,半精度浮点运算峰值高达每秒170万亿次;
  • 2015年,曙光联合英伟达发布X System平台,包括深度学习软件XSharp与XMachine系列的深度学习一体机,原生态支持支持NVIDIA DIGITS开发环境;
  • 2015年底,Facebook将其人工智能硬件平台 Big Sur开源,装有8个NVIDIA Tesla M40;

参考链接