我们在第2章中从人工神经元入手，开始了机器学习算法的探索。对于本章中将要讨论的多层人工神经网络来说，人工神经元是其构建的基石。人工神经网络的基本概念是建立在对人脑如何应对复杂问题的假想和模型构建上的。人工神经网络在近几年得到了普及，对它的研究最早可追溯到20世纪40年代，Warren McCulloch和Walter Pitt第一个给出了关于神经元如何工作的描述。Rosenblatt在20世纪50年代第一个实现了基于麦卡洛克-皮特（McCulloch-Pitt）神经元模型的感知器算法，在之后的几十年中，由于没有好的训练多层神经网络的算法，许多机器学习的研究人员和从业者逐渐对它失去了兴趣。直到1986年，D.E.Rumelhart、G.E.Hinton和R.J.Williams经过潜心研究，提出并推广了反向传播算法之后，才重新引起了人们对神经网络的重视。关于此算法的详细内容我们将在本章后续做进一步讨论[1]。
在过去的十年中，神经网络研究领域的许多重大突破成就了当前的深度学习算法，此算法可以通过无类标数据训练的深度神经网络（多层神经网络）进行特征检测。神经网络不仅仅是学术领域的一个热门话题，连Facebook、微软及谷歌等大型科技公司都在人工神经网络和深度学习研究领域进行了大量的投入。时至今日，由于能够解决图像和语音识别等复杂问题，由深度学习算法所驱动的复杂神经网络被认为是最前沿的研究成果。我们日常生活中深度学习的常见例子有谷歌图片搜索和谷歌翻译，谷歌翻译作为一款智能手机应用，能够自动识别图片中的文字，并将其实时翻译为20多种语言[2]。
当前一些主要的科技公司正在积极开发更多有趣的深度神经网络应用，如Facebook公司开发的给图片打标签的DeepFace[3]，百度公司的DeepSpeech，它可以处理普通话语音查询[4]。此外，制药行业近期也开始将深度学习技术用于新药研发和毒性预测，研究表明，这些新技术的性能远超过传统的虚拟筛选方法[5]。
[1] Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (1986). Learning Representations by Backpropagating Errors. Nature 323 (6088): 533-536.
[2] http://googleresearch.blogspot.com/2015/07/how-google-translate-squeezes-deep.html.
[3] Y. Taigman, M. Yang, M. Ranzato, and L. Wolf. DeepFace: Closing the gap to human-level performance in face verification. In Computer Vision and Pattern Recognition CVPR, 2014 IEEE Conference, pages 1701-1708.
[4] A. Hannun, C. Case, J. Casper, B. Catanzaro, G. Diamos, E. Elsen, R. Prenger, S. Satheesh, S. Sengupta, A.Coates, et al. DeepSpeech: Scaling up end-to-end speech recognition. arXiv preprint arXiv:1412.5567, 2014.
[5] T. Unterthiner, A. Mayr, G. Klambauer, and S. Hochreiter. Toxicity prediction using deep learning. arXiv preprint arXiv:1503.01445, 2015.