首页 理论教育 深度波尔茨曼机与深度信念网络的比较

深度波尔茨曼机与深度信念网络的比较

时间:2023-06-30 理论教育 版权反馈
【摘要】:由于RBM的训练可分层进行,因此DBM能够有效避免深层网络训练中存在的误差累积传递过长问题。(一)受限波尔茨曼机的结构受限波尔茨曼机是一种对称耦合的随机反馈型二值单元神经网络。RBM作为波尔茨曼机的一种变形,RBM与BM的最大区别是,RBM限制同层节点之间无连接其的基本结构如图8-8所示。图8-9深度波尔茨曼机结构深度信念网络DBN也称为深度置信网络,与深度波尔茨曼机在结构上的主要差别是最后一层,其最后一层是BP网络。

深度波尔茨曼机与深度信念网络的比较

深度波尔茨曼机(Deep Boltzmann Machine,DBM)由多层受限波尔茨曼机(RestrictedBoltzmann Machine,RBM)堆叠而成,而深度信念网络(Deep Belief Network,DBN)则由多层受限波尔茨曼机再加上一层BP网络所构成。由于RBM的训练可分层进行,因此DBM能够有效避免深层网络训练中存在的误差累积传递过长问题。

(一)受限波尔茨曼机的结构

受限波尔茨曼机是一种对称耦合的随机反馈型二值单元神经网络。RBM作为波尔茨曼机(BM)的一种变形,RBM与BM的最大区别是,RBM限制同层节点之间无连接其的基本结构如图8-8所示。单个RBM是一个两层的浅层网络,一层是可见层V,其节点叫可见节点,用于接收输入数据;另一层是隐层H,其节点叫隐节点,起着特征探测器的作用。在RBM中,节点之间的连接方式满足,同层节点之间无连接,层间节点之间为全连接,任意两个相连接的节点都有自身的权重,权重矩阵为W。RBM作为一种二值单元神经网络,其所有节点都是随机二值变量节点,即各节点的取值都只有“0”和“1”两种状态。

图8-8 受限波尔茨曼机结构

(二)深度波尔茨曼机与深度信念网络的结构(www.xing528.com)

深度波尔茨曼机由若干层受限波尔茨曼机堆叠而成,而深度信念网络由多层受限波尔茨曼机再加上一层BP网络所构成。以3层波尔茨曼机为例,其深度波尔茨曼机的基本结构如图8-9所示。在该模型中,前一层波尔茨曼机隐层作为下一层波尔茨曼机的可见层。

图8-9 深度波尔茨曼机结构

深度信念网络DBN也称为深度置信网络,与深度波尔茨曼机在结构上的主要差别是最后一层,其最后一层是BP网络。以两层RBM和一层BP构成的DBN为例,其基本结构如图8-10所示。其中,向上的实箭号为信号传播,向下的虚箭号为误差反向传播。

图8-10 深度信念网络结构

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈