深度学习资源

简介

    深度学习(Deep Learning)是机器学习(Machine Learning)的一个分支,一般指代“深度神经网络”(Deep Neural Network)。历史上,人工神经网络(Artificial Neural Networks)经历了三次发展浪潮:20世纪40年代到60年代,神经网络以“控制论”(cybernetics)闻名;20世纪80年代到90年代,表现为“联结主义”(connectionism);2006年至今,以“深度学习”之名复兴。得益于与日俱增的数据量和计算能力(GPU, TPU),深度学习已经成功应用于计算机视觉、语音识别、自然语言处理、推荐系统等领域。

本组研究成果


基础教程

  1. http://deeplearning.net/tutorial/
  2. 《神经网络与深度学习讲义》,邱锡鹏。

参考书籍

  1. Deep Learning, Yoshua Bengio, Ian Goodfellow, Aaron Courville, MIT Press, In preparation. 网页版
  2. 周志华《机器学习》
  3. 李航《统计学习方法》
  4. Bishop et.al. 《Pattern Recognition and Machine Learning》

经典论文

  1. Hinton, Geoffrey E. “Deterministic Boltzmann learning performs steepest descent in weight-space.” Neural computation 1.1 (1989): 143-150.
  2. Hinton, Geoffrey E., and Ruslan R. Salakhutdinov. “Reducing the dimensionality of data with neural networks.” Science 313.5786 (2006): 504-507.
  3. LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. “Deep learning.” Nature 521, no. 7553(2015): 436-444.
  4. Yoshua Bengio, Aaron Courville, Pascal Vincent. “Representation Learning: A Review and New Perspectives.” Arxiv, 2012.
  5. Le Roux, Nicolas, and Yoshua Bengio. “Deep belief networks are compact universal approximators.” Neural computation 22.8 (2010): 2192-2207.
  6. Hochreiter, Sepp, and Jürgen Schmidhuber. “Long short-term memory.” Neural computation 9.8 (1997): 1735-1780.
  7. Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton, “ImageNet Classification with Deep Convolutional Neural Networks.” NIPS 2012.
  8. Mikolov, Tomas, Ilya Sutskever, Kai Chen, Greg S. Corrado, and Jeff Dean. “Distributed representations of words and phrases and their compositionality.” In Advances in Neural Information Processing Systems, pp. 3111-3119. 2013.

公开课

  1. http://videolectures.net/deeplearning2015_montreal
  2. http://videolectures.net/deeplearning2016_montreal
  3. http://videolectures.net/kdd2014_salakhutdinov_deep_learning

框架(排名不分先后)

  1. TensorFlow
    官方网站:https://www.tensorflow.org/
    TensorFlow是谷歌开源的机器学习框架,提供可靠的python和C++接口,Go和Java的接口仍在开发中。
  2. Theano
    官方网站:http://deeplearning.net/software/theano/
    Theano是元老级的深度学习框架,提供python接口,具有良好的计算图抽象方式.
  3. Torch
    官方网站:http://torch.ch/
    Torch是用Lua语言编写的计算框架,有很多已定义模型,容易编写自己的层类型并在GPU上运行,但不适合RNN。
  4. Caffe
    官方网站:http://caffe.berkeleyvision.org/
    Caffe是应用较为广泛的机器视觉库,最适合于图像处理,不适合文本、声音等数据类型的深度学习应用.
  5. CNTK
    官方网站:https://github.com/Microsoft/CNTK
    CNTK是微软开源的深度学习框架,主要包括前馈DNN、卷积网络和循环网络。
  6. MXNet
    官方网站:https://github.com/dmlc/mxnet
    MXNet是陈天奇等开发的深度学习框架,目前已被亚马逊选中成为其深度学习平台。特点是运行速度快,内存管理效率高。

其它资源

  1. http://deeplearning.net/reading-list/
  2. https://github.com/ty4z2008/Qix/blob/master/dl.md
  3. Andrew Ng 的机器学习网络公开课
  4. Andrew Moore 的机器学习算法教程
  5. 无监督的特征学习和深度学习(中文翻译)