首页 理论教育 如何理解泛函及梯度下降法在深度学习中的应用

如何理解泛函及梯度下降法在深度学习中的应用

时间:2023-06-27 理论教育 版权反馈
【摘要】:泛函也是一种“函数”,它的独立变量一般不是通常函数的“自变量”,而是通常函数本身。由于函数的值是由自变量的选取而确定的,而泛函的值是由自变量函数确定的,故也可以将其理解为函数的函数。梯度下降法是2范数下的最速下降法。应当指出,并非训练的次数越多越能得到正确的输入输出映射关系。

如何理解泛函及梯度下降法在深度学习中的应用

1.映射

通常情况下,映射一词有照射的含义,是一个动词。在数学上,映射则是个术语,指两个元素集之间元素相互“对应”的关系,如设AB是两个集合,如果按照某种对应关系f,对于集合A中的任何一个元素,在集合B中都存在唯一的一个元素与之对应,那么,这样的对应(包括集合AB,以及集合A到集合B的对应关系f)叫做集合A到集合B的映射(Mapping),记作fAB。如设A={1,2,3,4},B={3,4,5,6,7,8,9},集合A中的元素x按照对应关系“乘2加1”和集合B中的元素2x+1对应,这个对应是集合A到集合B的映射。

2.归一化

归一化是一种简化计算的方式,即将有量纲的表达式,经过变换,化为无量纲的表达式,成为纯量。在多种计算中都经常用到这种方法。

3.泛函

简单地说,泛函就是定义域是一个函数集,而值域是实数集或者实数集的一个子集,推广开来,泛函就是从任意的向量空间到标量的映射。也就是说,它是从函数空间到数域的映射。

泛函也是一种“函数”,它的独立变量一般不是通常函数的“自变量”,而是通常函数本身。泛函是函数的函数。由于函数的值是由自变量的选取而确定的,而泛函的值是由自变量函数确定的,故也可以将其理解为函数的函数。

4.代价函数

代价函数就是最后要达到目的的那个函数,如BP算法采用学习规则是通过使代价函数最小化的过程来完成输入到输出的映射。通过负梯度搜索技术,使网络的“实际输出值的误差二次方和”为最小,这里的“实际输出值的误差二次方和”就是代价函数。(www.xing528.com)

5.梯度下降法

梯度下降法,就是利用负梯度方向来决定每次迭代的新的搜索方向,使得每次迭代能使待优化的目标函数逐次减小。梯度下降法是2范数下的最速下降法。

6.泛化能力

概括地说,所谓泛化能力(generalization ability)是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据对背后的规律,对具有同一规律的学习集以外的数据,经过训练的网络也能给出合适的输出,该能力称为泛化能力。

通常期望经训练样本训练的网络具有较强的泛化能力,也就是对新输入给出合理响应的能力。应当指出,并非训练的次数越多越能得到正确的输入输出映射关系。网络的性能主要用它的泛化能力来衡量。

7.最小二乘法

最小二乘法(又称最小二次方法lsm)是一种数学优化技术。它通过最小化误差的二次方和寻找数据的最佳函数匹配。

利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的二次方和为最小。最小二乘法可用于曲线拟合等场合。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈