人工智能发展：隐马尔可夫层级模型的力量

正如我在前面提到过的，20世纪80年代和90年代，我带领团队开发了隐马尔可夫层级模型技术，目的是识别人类语言和理解自然语言。这项工作是现在广泛的商业系统的前身，而这些商业系统能够识别和理解我们向它们传递的信息，例如你能与之对话的汽车导航系统、iPhone中的Siri、谷歌语音搜索等。实际上，我们发展的技术具有我描述的思维的模式识别理论中的所有特征。它包括层级模式，每个更高层级都比其下的低层级概念更抽象。例如，在语音识别中，层级包括最底层的声频的基本模式，然后是音位，然后是词语和词组（经常被识别成词语）。我们的一些语音识别系统能理解自然语言命令的含义，所以更高的层级包括如名词性词组和动词性词组的结构。每个模式识别模块能识别来自较低概念层级的一个线性序列的模式。每次输入都有权重、规格和规格可变性的参数，存在向下传递的信号，指示一个较低层级模式为预期的模式。在第7章中我们就这项研究做了更细致的讨论。

在2003年和2004年，PalmPilot的发明者杰夫·霍金斯和迪利普·乔治开发了一个层级皮质模型，并将之命名为层级时间记忆（hierarchicaltemporal memory）。霍金斯与科普作家桑德拉·布拉克斯莉（Sandra Blakeslee）在他们合著的著作《智能时代》（OnIntelligence）中描述了这个模型。霍金斯为皮质算法的均匀性和其层级的、基于列表的组织提供了一个理由充足的例证。《智能时代》一书中所举的例子与本书中的例子之间存在一些重要的区别。霍金斯注重成分列表的时间（基于时间）属性。换言之，列表的方向总是在时间上向前。对于一个二维模式，例如印刷体字母“A”中的特征如何在时间上有方向，他的解释是根据眼球的运动来论断。他解释，用扫视的方式将图像转化为形象，这时我们并没有意识到眼球的飞速运动。因此，信息到达大脑新皮质不是一组二维特征，而是一个时间排序的列表。虽然我们的眼球确实在飞速运动，但是它们观察一个模式（例如字母“A”）的特征中的序列并非总与时间顺序保持一致。例如，眼睛扫视并不会总是按照先记录“A”的顶点，再记录其下凹处的顺序。此外，我们能识别一个只出现数十毫秒的视觉模式，而这对眼睛扫视来说时间太短了。诚然，大脑新皮质中的模式识别器将模式转化为列表进行存储，列表也确实有序。但是，顺序代表的并不一定是时间（虽然情况确实大多如此），它也可能代表一个空间或更高层级概念的次序，正如我在上文中讨论过的。(www.xing528.com)

最重要的区别在于，我已将每个模式识别模块的输入的参数组纳入其中，特别是尺度和尺度变化程度参数。20世纪80年代，我们尝试识别人类语言时并没有这种信息。这是受到语言学家告诉我们的“持续时间并不特别重要”这一说法的启发。这个视角是从一些字典中的例证中得到的，这些字典将每个词语的发音写成了一串音位，例如“steep”是[s][t][E][p]，但并没标注每个音位预期该拖多长时间。而它的意义在于，如果我们创建了识别音位的程序，碰到这种4个音位的特定序列（在一次口头发言中），就能够识别该口语词。我们用这种方式建立的系统在某种程度上管用，但是不能处理拥有大量的词汇、多个扬声器，以及说个不停的口语词这些特征的情况。如果我们利用隐马尔可夫层级模型收集每个输入的规格分布，作用就很明显了。