1
模式识别与智能计算的MATLAB实现
1.7.4.2 5.4.2 基于核的投影寻踪分析
5.4.2 基于核的投影寻踪分析

从上面的讨论可以看出,PP法主要包括两个方面:一是寻找投影方式,一般用线性投影;二是选定PP指标,使各样本点的投影值在PP指标下是最优的。

类似地,基于核的PP方法也可以采取两种方法进行:一是将核函数方法应用到投影过程中,即采用非线性投影方式,而PP指标采用一般的指标;二是设置基于核的PP指标,在此之前的则可以采用线性的投影方式。下面对第二种方法进行研究。

对于d(d>2)维的观察数据集合alt={X1,X2,…,XN1}和alt={XN1+1,XN1+2,…,N1+N2},altalt分别对应于两类样本集合,altaltalt,N=N1+N2。设存在投影方向b1,有

alt

同时存在投影方向b2,并满足b2⊥b1,有

alt

对于分类而言,选择合适的核函数,应使样本集{(y1i,y2iT}(i=1,2…,N)具有最小的分类误差。这实际上是设计一个支持向量机模型。投影指标可设定为

alt

其中,C为惩罚系数;ξ为由于分类错误而引入的松弛因子,对于正确的分类,ξi=0。

如果进一步考虑到错分样本和泛化能力的折中,可进一步将投影指标设定为

alt

由于待优化的参数太多,使得上述的优化问题难以进行。为了使问题简化,可以将上述问题化为两个独立的过程即投影过程和分类过程。在投影过程中,第一个由Fisher法获得,此时的投影指标为

alt

第二个方向不妨选为PCA的第一个投影方向。这样选择的好处是充分考虑了分类和特征值离散程度较大的要求。