首页 理论教育 8.4学习指南:深度信念网络在序列学习中的灵活应用

8.4学习指南:深度信念网络在序列学习中的灵活应用

时间:2023-06-28 理论教育 版权反馈
【摘要】:图8.4 DBN结构DBN的灵活性使得它的拓展比较容易。DBN并没有考虑到图像的二维结构信息,因为输入是简单地从一个图像矩阵一维向量化的。DBN并没有明确地处理观测变量为时间序列的情况,虽然目前已经有这方面的研究,例如堆叠时间RBM,时态卷积网络。这种序列学习的应用,给语音信号处理问题带来了未来的研究方向。

8.4学习指南:深度信念网络在序列学习中的灵活应用

DNN有两种基本结构:卷积神经网络(Convolutional Neural Networks,CNN)和深度置信网络(Deep Belief Network,DBN)。

从前几章已经发现,AE隐藏层和RBM能作为有效的特征探测器,但是很少直接使用它们。实际数据比前面的规则数据集更加复杂,所以,需要寻找到一些方法间接使用这个特征检测器。

幸运的是,发现这些RBM可以堆叠(Stack)形成深度网络,这个网络可以使用经典的反向传播算法,逐层贪婪训练,以帮助克服梯度弥失和过度拟合问题(见图8.4)。

978-7-111-57073-8-Chapter08-10.jpg(www.xing528.com)

图8.4 DBN结构

DBN的灵活性使得它的拓展比较容易。一个拓展就是加入卷积的DBN(Convo-lutional Deep Belief Networks,CDBN)。DBN并没有考虑到图像的二维结构信息,因为输入是简单地从一个图像矩阵一维向量化的。而CDBN就是考虑到了这个问题,它利用邻域像素的空域关系,通过一个称为卷积RBM的模型来达到生成模型的变换不变性,而且可以容易地变换到高维图像。DBN并没有明确地处理观测变量为时间序列的情况,虽然目前已经有这方面的研究,例如堆叠时间RBM,时态卷积网络。这种序列学习的应用,给语音信号处理问题带来了未来的研究方向。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈