让机器具备人脑智慧：开挂的机器学霸

要真正理解神经网络、深度学习的原理，需要高深的生物学、数学和电子信息方面的知识。当然这在许多专业性很强的书籍、论文中都能找到答案，但这并非本书写作的目的。这里，我们希望通过简单的语言对神经网络、深度学习等相关概念进行通俗易懂的描述。

几个重要的概念

首先，要澄清和区分几个概念。如图4-3所示，人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门综合性技术科学，前文已经讲到在其发展过程中主要分为控制派和仿生派两个分支，其中仿生派最重要的成就就是深度学习和人工神经网络。机器学习（Machine Learning，ML）是一门多领域交叉学科，专门研究计算机怎样模拟和实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。人工神经网络（Artificial Neural Networks，ANNs）和深度学习（Deep Learning）都属于机器学习的一种，深度学习是神经网络的一大分支，深度学习的基本结构是深度神经网络。虽然监督学习和非监督学习都是深度学习可以采用的具体方法，但需要注意的是，监督学习和非监督学习的概念广泛应用于计算机科学，而不仅是在深度学习中使用。

简单来说，人工智能就是要让机器具有人脑一样的智慧，机器学习让机器像入一样学习以获得智慧，人工神经网络模拟人脑神经满足机器像入一样学习的硬件条件，深度学习是效果很好的学习方法。

图4-3 神经网络和深度学习都属于机器学习

对人脑的仿生：人工神经网络的构建

人脑的神经元（神经细胞）主要由三个部分组成：树突（负责信息的输入）、细胞体（负责处理信息）和轴突（负责处理后信息的输出）。

图4-4 神经网络

如图4-4所示，当神经元受到外界刺激时，经过内部的信息处理，将结果输出，这个过程看起来非常简单，却是人脑思维形成的最基本过程。如果将算法赋予电子元件（如CPU），并通过信号通道将这些电子元件与传感器、输入设备以及相互之间进行链接可以模拟出人脑的神经网络。计算机的硬件技术飞速发展，使得构建大规模的人工神经网络成为可能，云计算、大数据、高速互联网等技术的出现和运用进一步提高了人工神经网络的性能，在未来出现能够比拟甚至超过人脑的人工神经网络是完全有可能的。

为进一步理解深度学习，需要对以下几个关键、有趣且对下一步深度学习的展开具有重要意义的问题做出分析。

作为输入信息，可以是感觉器官和传感器，也可以是其他神经元信息处理的结果，同样，处理的结果可以用于直接指导判断，但绝大多数时候是作为其他神经元的输入信息。当数以亿计的神经元（人脑有超过800亿个神经元，但并不会在任何时候都处于激活状态）交织链接在一起就组成神经系统，能够进行复杂的运算和庞大的信息处理。

对于不同问题，各种输入信息的重要性有所区别，有至关重要的信息，也有相对不那么重要的信息，甚至还有干扰的信息。这时候，需要对不同输入信息进行加权处理，权重大小的合理性直接影响最终输出信息的准确性，计算机在很多时候做出令人啼笑皆非的判断，输入信息权重的错误是主要原因之一。

现代计算机采用二进制，简单来说计算机虽然强大，但只能识别0和1两个数字，因此，相对于人脑，人工神经元需要增加一个算法公式将信息处理的结果转化为0或者1。

神经元本身也会对输出结果产生影响，有时这种影响是决定性的（即无论输入信息和权重如何，输出信息都是一样的）。这在人类思维中有很好的体现，例如如果非常讨厌一个人或事物，则无论对象如何改变，得出的结果都是负面的。在人工神经网络中，每一个人工神经元都具备模拟内部特征的功能。

可以用一个最简单的对“是苹果还是梨”的判断来说明神经网络工作的原理。为了简化，我们用一个单个神经元的工作过程替代整个神经网络。颜色、形状和气味，是判断一个水果是苹果或者是梨所需要的最基本的特征。当这些信息通过视觉、味觉或者传感器进入神经元，人脑（或者电脑）就可以根据以往的经验来进行区分。在区分苹果和梨上，形状的信息最重要，赋予更高的权重。如果信息表现为红色、圆形、苹果味，那么最后的结果就是苹果。

这一过程看起来非常简单，但对于一个未加训练的人工神经网络来说，产生错误是难免的。例如，并不是所有的苹果都是红色，有的苹果是黄色，和梨的颜色非常接近；有的梨的形状和苹果也很接近。嫁接的新品种苹果梨到底算苹果还是梨？当这些因素出现时，对人工神经网络来说是巨大考验，很容易给出错误的答案。

那么，如何减少上述情况导致的错误呢？这就需要深度学习的帮助。(www.xing528.com)

对学习的仿生：如何展开深度学习

我们抛开繁杂的生物学和数学概念，用一些简单的例子来说明深度学习是如何展开的。

在一系列残酷的动物实验之后，生物学家发现了人脑对外界刺激的识别是一个抽象和迭代的过程。例如，对一个静止图像的识别，最开始是对图像主体物边缘的识别，然后抽象到一些具体特征，最后才是对各种特征抽象和概念化以得到准确的意义。这一生物学发现意义大，促使人工 能在21世纪有了突破性的发展。

如果人脑的工作原理是从“浅层”的识别开始的，并将浅层识别的结果作为更高一层识别的输入信息，那么计算机搭建的人工神经网络是不是也可以仿效人脑进行工作呢？答案是肯定的。1996年，康奈尔大学在收集的大量黑白风景照片中每张随机提取400张16×16像素的方格，然后从任意一张风景照片中再提取一个16×16像素的方格与之前提取的400张方格进行比较，结果发现，包含物体边缘的方格是最容易找到非常接近的方格。换句话说，“边缘”是识别一张风景图片的起点。这一实验其实证明了对复杂事物的识别从最基本“浅层”信息入手是有效和可行的。类似的实验后来被应用于语音识别，同样，“边缘”是识别一条语音最基本的“浅层”信息。

图4-4展示了一个简化的神经网络，从信息输入到信息输出中间虽然有多个神经元，但都处于同一“层次”上，我们暂且称之为“浅层神经网络”，以与我们马上要提到的“深度神经网络”相比较。在前文给出的识别苹果和梨的例子非常简单，但实际运用中，这种识别是一个复杂的过程，要输入圆形、红色、苹果味的信息，需要很多步骤的识别过程。如果要让这个单层次的神经网络发挥作用，一个方法是由人来告诉计算机形状、颜色和味道信息，神经网络只做最后的一次判断。这样让人参与的做法似乎很可笑，但并非完全无用。信息管理和数据挖掘中经常会使用浅层神经网络，但前提是由信息管理专业的学生手工或使用软件将数据挖掘的材料准备好，这就如同由人来帮助人工神经网络判断水果形状、颜色和味道。实际上，是由人工来弥补浅层神经网络的局限性。

当人工智能的应用范围扩大，越来越多需要借助人工智能帮助的人员并非信息管理专业的学生，浅层神经网络已经跟不上发展形势和时代需要了。2006年，人工神经网络发展有了转折点，辛顿等研究人员提出了深度信念网络（Deep Belief Network，DBN），实现了对人脑多层神经网络信息处理、分析和学习的模拟，这推动了人工智能研究和应用向前迈进了一大步（见图4-5）。

图4-5 含多个隐层的深度学习模型

多层次的神经网络是实现深度学习的基础。那么，与传统的神经网络比较，深度神经网络又有哪些特点呢？深度学习又是如何在深度神经网络上展开的呢？

与传统的神经网络相同的是，深度神经网络也包括输入层、隐层和输出层，也只有相邻层级之间的神经元有链接通道，同一层及跨层之间是没有链接的。区别在于，深度神经网络的隐层具有更多的层级数量，并且具有更有效的算法，更加接近人脑的结构，这使得深度神经网络能够处理更加复杂的输入信息，深度学习就是在这个多层级的人工神经网络上进行的。

在搞清楚深度神经网络如何进行深度学习之前，首先区别两个重要的概念：监督学习和非监督学习。简单而言，监督学习就是一个计算、连接、评估、纠错、疯狂培训的过程，这与人类学习的经历是十分相似的。想象一下，当幼儿第一次看到苹果的时候，会建立一个包含苹果各种特征的概念集（计算和连接过程）；当下一次他再看到苹果时，会加入对苹果新的概念，例如苹果并不都是红色的，还有黄色的、白色的、绿色的，甚至还有多种颜色混合的；这期间，有可能他会看到梨、橙子、乒乓球等与苹果在某些特征上相似的物体，并有可能把这些东西也认为是苹果，家长会指出错误（评估过程），他也会调整对苹果的认识（纠错过程），判断越来越准确。是不是很简单？但这其实也是半个多世纪之前“感知机”的工作原理，通过不断优化不同输入信息的权重使得机器的判断越来越准确。

上述监督学习的过程，很容易忽略一个重要的前提条件，机器为什么知道通过形状或者颜色去判断一个物体是不是苹果，形状、颜色、气味是人基于经验对苹果赋予的“特征”属性，但机器并不知道这些就是苹果的特征。过去，一般由人来帮助机器先期定义“特征”，但由人参与对“特征”的选取是一件极其烦琐和耗费时间的工作，并且在面对未知事物的时候，一开始也无规律可循。在输入信息越来越复杂的情况下，人工选取特征必将会难以为继，由机器自动学习特征似乎是更好的做法，而在多层神经网络上进行的非监督学习能够完成这一过程。

非监督就如同一个没有家长在旁边指导的幼儿学习过程，其目的是推断出信息的内在规律和联系。例如，幼儿在看到很多次苹果之后，会把具有圆形、红色、特殊味道的一类物体归为一类（虽然并不知道这就叫苹果）并与其他的水果区别开来，这个过程不仅实现了聚类，更重要的是完成了特征学习，幼儿知道应该抓住哪些“特征”来判断一个物体是不是苹果。机器的非监督学习有类似的过程，在深度人工神经网络上对每一层级进行非监督学习，这是深度学习与传统神经网络的最大区别，而这一过程则被称作特征学习（见图4-6）。

图4-6 特征学习过程

由此可以总结出一个简化的深度学习过程：在深度神经网络中，采用非监督学习对每一层逐层进行训练，让机器不断加深对这一层级特征的理解；较低一层训练的结果作为更高一层的输入信息；在最顶层，使用监督学习自上而下对各个层级的参数、权重、模型、算法进行优化调整，这一过程反复进行，直到达到一定准确度，这和人类的学习过程非常相似，不同的是，计算机的速度非常快且可以模拟各种学习环境，针对一个特定的学习内容，计算机可以在几天甚至更短时间内完成人类需要一生时间的学习过程。与传统的机器学习相比较，深度学习能够脱离人类帮助提取特征，这极大地提高了学习的自主性和学习效果。

在实际应用中，对图像的识别、对声音的识别，或者像AlphaGo那样学习围棋采用的具体方法有很多，但大致的原理是相同的，只是过程和算法更为复杂。