深度学习在大数据处理中的应用

深度学习在几个主要领域都获得了突破性的进展：在语音识别领域，深度学习用深层模型替换声学模型中的混合高斯模型（Gaussian Mixture Model，GMM），获得了30%左右的相对错误率降低；在图像识别领域，通过构造深度卷积神经网络，将Top5错误率由26%大幅降低至15%，又通过加大加深网络结构，进一步降低到11%；在自然语言处理领域，深度学习基本获得了与其他方法水平相当的结果，但可以免去烦琐的特征提取步骤。可以说到目前为止，深度学习是最接近人类大脑的智能学习方法。下面将介绍深度学习在业界的应用。

（一）Google

2012年，由人工智能和机器学习顶级学者AndrewNg及分布式系统顶级专家JeffDean领衔的梦幻阵容，开始打造GoogleBrain项目，用包含16000个CPU核的并行计算平台训练超过10亿个神经元的深度神经网络，在语音识别和图像识别等领域取得了突破性的进展。Google把从YouTube随机挑选的1000万张200×200像素缩略图输入该系统，让计算机寻找图像中重复出现的特征，从而对含有这种特征的物体进行识别。这种新的面部识别方式本身已经是一种技术创新，更不用提有史以来机器首次对于猫脸或人体这种“高级概念”有了认知。下面简单介绍该应用系统的工作原理。

在开始分析数据之前，工作人员不会教授系统或者向系统输入任何诸如“脸、肢体、猫的长相是什么样子”这类信息。一旦系统发现了重复出现的图像信息，计算机就创建出“图像地图”，该地图稍后会帮助系统自动检测与前述图像信息类似的物体。Google把它命名为“神经系统”，旨在向神经生物学中的一个经典理论致敬。这个理论指出，人类大脑颞叶皮层的某些神经元是专门用来识别面部、手等这类对象的。

以往传统的面部识别技术，一般都是由研究者先在计算机中通过定义识别对象的形状边缘等信息来“教会”计算机该对象的外观应该如何，然后计算机对包含同类信息的图片做出标识，从而达到“识别”的结果。JeffDean博士（“神经系统”参与者）表示，在Google的这个新系统里，工作人员从不向计算机描述“猫长什么样”这类信息，计算机基本上靠自己产生出“猫”这一概念。

截至目前，这个系统还不完美。但它取得的成功有目共睹，Google已经将该项目从GoogleX中独立出来，现在由总公司的搜索及商业服务小组继续引领完成。Googk的目标是宏伟的，它希望能开创一种全新的算法，并将其应用于图像识别、语言识别，以及机器语言翻译等更广阔的领域。

（二）百度

在深度学习方面，百度已经在学术理论、工程实现、产品应用等多个领域取得了显著的进展，已经成为业界推动“大数据驱动的人工智能”的领导者之一。

在图像技术应用中，传统的从图像到语义的转换是极具挑战性的课题，业界称其为语义鸿沟。百度深度学习算法构造出一个多层非线性层叠式神经元网络，能够很好地模拟视觉信号从视网膜开始逐层处理传递，直至大脑深处的整个过程。这样的学习模式能够以更高的精度和更快的速度跨越语义鸿沟，让机器快速地对图像中可能蕴含的成千上万种语义概念进行有效识别，进而确定图片的主题。在人脸识别方面，最困难的是识别照片中的人是谁或者通过照片寻找相似的人。百度在深度学习的基础上，借鉴认知学中的一些概念与方法，探索出了独特的相似度量学习方法来寻找图像的相似性和关联，能够做到举一反三。

在深度神经网络训练方面，伴随着计算广告、文本、图像、语音等训练数据的快速增长，传统的基于单GPU的训练平台已经无法满足需求。为此，百度搭建了Paddle（Parallel Asynchronous Distributed Deep Learning）多机并行GPU训练平台。数据分布到不同的机器，通过Parameter Server协调各机器进行训练，多机训练使得大数据的模型训练成为可能。

在算法方面，单机多卡并行训练算法研发，难点在于通过并行提高计算速度一般会降低收敛速度。百度则研发了新算法，在不影响收敛速度的条件下计算速度图像提升至2.4倍，语音提升至1.4倍，这使得新算法在单机上的收敛速度达到图像提升至12倍、语音提升至7倍的效果。相比于Google的DistBelief系统用200台机器加速约7.3倍而言，百度的算法优势更加明显。(www.xing528.com)

（三）腾讯Mariana

面对机遇和挑战，腾讯打造了深度学习平台Mariana，该平台包括三个框架：深度神经网络的GPU数据并行框架，深度卷积神经网络的GPU数据并行和模型并行框架，以及DNNCPU集群框架。基于上述三个框架，Mariana具有多种特性：

1.支持并行加速，针对多种应用场景，解决深度学习训练极慢的问题；

2.通过模型并行，支持大模型；

3.提供默认算法的并行实现以减少新算法开发量，简化实验过程；

4.面向语音识别、图像识别、广告推荐等众多应用领域。

腾讯深度学习平台Manana重点研究多GPU卡的并行化技术，完成DNN的数据并行框架，以及CNN的模型并行和数据并行框架。数据并行指将训练数据划分为多份，每份数据有一个模型实例进行训练，再将多个模型实例产生的梯度合并后更新模型。模型并行指将模型划分为多个分片，每个分片在一台服务器上，全部分片协同对一份训练数据进行训练。

DNN的数据并行框架已经成功应用在微信语音识别中。微信中语音识别功能的入口是语音输入法、语音开放平台以及长按语音消息转文本等。对微信语音识别任务，通过Mariana，识别准确率获得了极大的提升，目前识别能力已经达到业界一流水平。同时可以满足语音业务海量的训练样本需求，通过缩短模型更新周期，使微信语音业务可以及时满足各种新业务需求。

同时，Mariana的CNN模型并行和数据并行框架，针对ImageNet图像分类问题，在单机4GPU卡配置下，获得了相对于单卡2.52倍的加速，并支持更大模型，在ImageNet2012数据集中获得了87%的Top5准确率。此外，Mariana在广告推荐及个性化推荐等领域，也正在积极探索和实验中。