个性化推荐研究基于支持向量机的算法

(1)标准支持向量机算法相关研究

对标准支持向量机算法不断扩展和改进方面的研究，主要是关于标准支持向量机的分类模型和回归模型的研究。这方面的研究主要是通过对标准支持向量机模型进行一些改进而得到性能更优的模型。Schölkopf等［95］提出了υ-SVM，主要是对C-SVM进行改进，其思路是用参数υ替换C使其取值范围在［0，1］；Angulo等［96］提出了K-SVCR，是针对分类问题中反复分解和重构二分类器问题而设计的新方法；Cramme等［97］提出了基于核函数的多分类支持向量机，其主要思路是使用广义边界概念，构造一个多分类问题作为一个带约束条件的优化问题；Lin等［98］提出了模糊支持向量机，该方法针对那些不能完全指定为某一类样本的情况，通过对每个输入样本点引入模糊隶属度使不同的样本学习针对不同的分类决策超平面；Parrado等［99］提出了增量支持向量机，该方法避免了先验结构估计或SVM训练后修剪机制，为处理多核、自动选择超参数、快速分类提供了一种新方法；Akbani等［100］提出了代价敏感的支持向量机，该方法针对不平衡数据集存在分类错误惩罚度不同的情况，对不同种类的样本引入不同的惩罚权重，来获得较好的应用效果；Mangasarian等［101］提出了多分类超平面近似支持向量机(Multisurface Proximal Support Vector Machine Classification via Generalized Eigenvalues，GEPSVM)，该方法将数据集分为两个不同的子集，求解其特征值来构建两个近似的不平行分类超平面；为进一步提升GEPSVM的性能，Khemchandani等［102］提出了对称支持向量机(Twin Support Vector Machines，TWSVM)，该方法与GEPSVM类似，但在计算时间复杂度等方面得到了很大提升；GEPSVM与TWSVM的基础是近似支持向量机(Proximal SVM，PSVM)，它是由Fung等［103］提出，主要优点是在解决低维数据分类时，其训练的速度非常快且对分类的质量没有任何影响，从某种程度上提升了支持向量机的分类性能；为提高标准SVM的计算效率，避免惩罚因子C值的选择问题，Suykens等［104］将最小二乘的思想引入标准SVM，提出了最小二乘支持向量机(Least SVM，LSSVM)，与标准SVM的主要不同是在目标函数中加入了一个修改因子，将不等式约束变成了等式约束。

(2)优化算法应用到新支持向量机算法相关研究

优化方法在支持向量机方面的应用主要是将著名的优化算法扩展到支持向量机中形成新的算法，并且是针对特定的应用场景而提出。Herbrich等［105］提出的序列回归支持向量机算法，该方法主要研究预测顺序量表中的变量问题，是对分类和基于度量回归问题的标准机器学习任务的一种补充；针对特定数据集的分类问题而不是针对所有数据集的分类问题，Joachims［106］提出了直推式支持向量机(Transductive Support Vector Machine，TSVM)，它是在标准支持向量机基础上引入直推概念而形成；与TSVM对应的半监督支持向量机是S3VM［107］，它主要解决无标记数据利用问题，以实现利用无标记数据来最大限度地提升分类模型的性能；为了解决不同的实际问题，并进一步提升支持向量机的鲁棒性，根据具体的应用场景提出了不同版本的“鲁棒支持向量机”，Song等［108］提出了针对图像分类的鲁棒支持向量机，Guo等［109］根据学习模型可以利用邻居模式提出了新的鲁棒支持向量机；为充分利用数据的流形结构，Belkin等［110］提出了基于图的半监督支持向量机——LapSVM；与LapSVM、S3VM和TSVM对应的半监督支持向量机还有基于多视图的半监督支持向量机，Sun等［111］提出的基于视图构建的多视图支持向量机，Zhang等［112］提出的快速基于图核的多视图支持向量机；为了能够利用先验知识提出了基于知识的支持向量机，Fung等［113］先提出了基于知识的线性支持向量机来解决线性分类问题，此后又提出了基于知识的非线性支持向量机［114］；为进一步提升知识的利用效果提出了基于不确定知识集的支持向量机［115］；在多分类时，为得到每类样本输出的概率大小提出了概率支持向量机［116］，同时也有一些学者提出了多标记分类方法［117，118］。(www.xing528.com)

(3)支持向量机最优化问题相关研究

关于这方面的研究主要集中在最优化问题的构建和求解方面。其中，最优化问题构建的代表性文献有：将近似支持向量机与特征选择相结合，研究了稀疏性和求解之间的关系，并对正则化参数和p范数进行了选择，从而提出了高效的p范数近似支持向量机［119，120］；为了形成相对较优的规则库，学者们从支持向量机中提取规则并形成规则库［121-123］，为实际应用提供了必要的支持；支持向量机最优模型的选择主要是对相关参数和核函数的选择，通过选择不同的核函数和对应的参数可以构造不同性能的预测模型，通过对参数的选择可以提升其泛化性能和精度［124-126］。关于最优问题求解，除了前面的介绍，与此相关的研究还有针对处理大规模数据问题的最优化问题的求解方法［127-129］等。