机器学习：从感知机到深度学习，发展再现奇迹

机器学习的发展几经沉浮，如今再成热点。逻辑推理和类比联想是人类学习性思维的典型特点。模拟人的思维进行自主学习成为人工智能专家一直努力的方向。1943年，美国心理学家麦卡洛克（Warren S.McCulloch）和数学家皮茨（Walter Pitts）提出MP神经元模型，首次模拟了人类神经元的反应过程。1949年，加拿大心理学家赫布（Donald O.Hebb）在其著作《行为的组织》中首次提出了基于神经心理的学习理论，标志着机器学习领域迈出了第一步。1952年，被誉为“机器学习之父”的塞缪尔（Arthur Samuel）设计了一款西洋跳棋程序，通过模拟塞缪尔本人及其他高手的下棋策略与方法，积累经验和教训，向高明的对手挑战或通过棋谱进行学习，不断提高人工智能水平，终于在1959年击败了它的设计者，并在1962年战胜了美国一个州的跳棋冠军，在世界上引起了不小的轰动。1957年，美国康奈尔航空实验室的罗森布拉特（Frank Rosenblatt）利用赫布理论模拟人脑的运作方式，创造了“感知机”（Perceptron），它能够进行简单的文字、图像和声音识别。感知机在20世纪60年代初期曾经盛行一时，估计至少有近百个研究机构和公司从事感知机的研究与开发工作。感知机是第一个用“梯度下降”算法来精确定义的神经网络，也是第一个用具有自组织、自学习能力的数学模型，为后来新的神经网络模型奠定了基础。因梯度算法纠错时运算量与神经元数目的平方成正比，感知机需要很大的运算量。

然而，无论是以“跳棋程序”为代表的逻辑符号主义学派，还是以“感知机”为代表的神经联结主义学派，都遇到了各自的技术瓶颈，并受到电子技术水平的限制，计算能力低下无法提供所需要的计算量，这不仅使机器学习止步不前，而且使人工智能在20世纪60年代中期至70年末期遭遇了第一次寒冬。感知机最大的问题就是对复杂图像的感知能力低、对非线性分类识别问题缺乏有效学习方法。1986年，美国科学家鲁姆哈特（David Rumelhart）和维伯斯（Paul Werbos）研制出被称为“反向传播”神经网络（Back Propagation，BP）的多层感知机。因反向传播算法的纠错运算量下降到只与神经元数目成正比，比之传统的梯度算法运算量大大降低，而且还因为增加了一个“隐层”解决了非线性感知与复杂模式识别的问题。1989年，美国纽约大学计算机科学家莱库（Yann LeCun）构建了应用于计算机视觉问题的“卷积神经网络”，并成功开发出读取支票的商业软件。这些神经网络算法的出现给机器学习带来了新的希望，掀起了基于统计模型的机器学习热潮。(www.xing528.com)

到了20世纪90年代，以BP为代表的浅层学习算法模型进入了黄金时代，各种各样的学习模型被相继提出，并得到实际运用。1990年，美国计算机科学家夏皮雷（Robert E.Schapire）最先构造出一种多项式级的Boosting框架算法。1995，俄罗斯统计学家瓦皮尼科（Vladimir Vapnik）和丹麦计算机科学家科尔特斯（Corinna Cortes）提出支持向量机算法（Support Vector Machines，SVM），因SVM比之传统的神经网络算法有较低的错误率而被广泛应用于图像和语音识别领域。1997年，IBM公司的超级计算机“深蓝”（Deep Blue）战胜堪称国际象棋棋坛神话的加里·卡斯帕罗夫，震惊世界。2001年，美国统计学家布赖曼（Leo Breiman）提出决策树模型（Random Forests，RF）。但是，BP算法也存在着随着神经网络层数的增加而梯度逐渐消失的严重缺陷。2006年，“神经网络之父”欣顿（Geoffrey Hinton）提出神经网络深度学习（Deep Learning）算法，解决了这一问题，使图像、视频、语音和音频的处理带来了突破，掀起了深度学习在学术界和工业界的浪潮。2011年，微软公司首次将深度学习方法应用在语音识别领域中，取得了较好的效果。2012年，谷歌公司的X实验室开发了一种机器学习算法，可以自动浏览和找到包含猫的视频。2014年，脸书公司开发了一种名为DeepFace的算法，能够识别或验证照片中的个人，其准确度与人类相当。2016年，谷歌公司旗下的Deep Mind公司基于深度学习的算法开发研制了AlphaGo程序，战胜了围棋冠军李世石，掀起了机器学习发展和应用的浪潮。