验证核函数与参数选择方法的有效性

下面将通过仿真分析来验证本章所提的核函数及参数选择方法的适用性。

算例4-1 设过程S₁的响应y受单个因子x的影响，且x∈[-10，10]。y与x之间存在如下关系

另外设过程噪声ε为等方差分布，且ε～N（0，σ_P）。过程S₁的响应分布图形如图4-6所示。

图4-6 过程S₁的响应分布图形

式（4-37）可以说是一个通用和常用的测试函数，Cherkassky和Ma^[106]、Vapnik^[78]、邓乃扬和田英杰^[79]等学者均采用过式（4-37）系列的函数对各类支持向量机核函数及参数选择方法进行过对比研究。

选择Gauss核作为核函数进行对比实验时，首先将x变换至区间[-1，1]，指定w_radi的最大值w_max=0.2，查图4-4，当m=1时σ=0.56，将σ的下限取为0，得Gauss核参数σ的范围0<σ≤0.56；然后在此区间内搜索使式（4-30）的P（σ）最小的σ值。

表4-1给出了在σ_P=0.3时，样本量l从30到100时各种SEP（%）的对比。

表4-1 不同样本量时各种SEP（%）的对比（σ_P=0.3）

表4-2给出了在l=30时，σ_P从1.5到0.1时各种SEP（%）的对比。两个表中的第一列代表l或σ_P值；第二列给出了在某一确定的l和σ_P下，通过穷举法搜索得到的最小的标准泛化误差值（MIN_SEP）；第三、四列给出了采用本章所提的实用性核函数及其参数选择方法而得到的标准泛化误差值（P_SEP）及其与最小标准泛化误差值的偏离比率（Dev1）；第五、六列给出了在0<σ≤0.56范围内最大的标准泛化误差值（MAX_SEP）及其与最小标准泛化误差值的偏离比率（Dev2）；第七、八列给出了在0<σ≤0.56范围内随机选择核参数σ而得到的标准泛化误差值（RAND_SEP）及其与最小标准泛化误差值的偏离比率（Dev3）。

表4-2 不同过程误差时各种SEP（%）的对比（l=30）(www.xing528.com)

分析表4-1和表4-2可以发现：

1）采用本章所提方法得到的标准泛化误差值，与在不同l或不同σ_P情况下，能够得到的最小的标准泛化误差值相接近：σ_P不变时，与最小标准泛化误差值的偏离率在3.34%～23.20%之间，平均为12.63%；而l不变时，与最小标准泛化误差值的偏离率在9.24%～32.56%之间，平均为15.13%。不仅远小于预先确定的σ范围内最大的标准泛化误差值（与最小标准泛化误差值的偏离率平均分别为1704.60%和1013.09%），而且也远小于基于随机选择σ而得到的标准泛化误差值（与最小标准泛化误差值的偏离率平均分别为383.66%和523.12%）。

图4-7 不同l与σ_P时P_SEP与MIN_SEP的趋势图

2）采用本章所提方法得到的标准泛化误差值，基本上反映了最小标准泛化误差值随l或σ_P变化的趋势，图4-7给出了相应的趋势图。从图4-7中还可以看出，所提方法的标准泛化误差值与最小标准泛化误差值存在较强的线性关系。为验证这一观点，首先分别在不同的l和不同的σ_P两种情况下，对MIN_SEP和P_SEP做相关性分析，得到其Pearson相关系数分别为0.886（P=0.003）和0.996（P=0.000）；其次，以MIN_SEP作为自变量，P_SEP为因变量，分别对不同的l和不同的σ_P两种情况做线性回归，得到表4-3和表4-4所示的方差分析和回归方程。方差分析表显示回归的效应非常显著（P值<0.01）；说明所提方法的标准泛化误差值与最小标准泛化误差值之间存在较强的线性正相关关系。

表4-3 不同样本量时P_SEP对MIN_SEP 回归的方差分析

表4-4 不同过程误差时P_SEP对MIN_SEP 回归的方差分析

3）由于存在一定的偏离率，本章所提出的方法并不能得到最小的泛化误差。究其原因，部分是因为过程误差，以及泛化指标选取的影响（计算P（σ）时采用的是ε-不敏感区函数而非标准泛化误差）；但更主要的是因为在式（4-30）中，P（σ）代表的是泛化误差的上界，而使泛化误差的上界最小的σ优化方法，并不一定能够得到最小的泛化误差。因此本章所提的方法是一种经验性方法。另外值得说明的是，由于Gauss核函数是关于其轴线x=x′的对称可旋转函数，因此当x为一维时的性质同样适用于x为多维时的情形。

综上所述，本章所提出的核函数及参数的选择和优化方法可以得到与最小泛化误差较为接近的泛化误差，而且计算方法简单，具有较强的实用性。