Fisher线性判别过于简单，往往不能满足处理非线性数据的要求。改进的途径有两条：一是对样本集进行复杂的概率密度估计，在此基础上再使用Bayes最优分类器，这种方法在理论上是最理想的，然而由于需要极多的数据样本，在实际中常常是不可行的；二是采用非线性投影，使投影后的数据线性可分。

设非线性函数Φ实现由输入空间X到特征空间F的映射，即Φ∶X→F。

通过非线性映射，输入空间中的向量集合x₁，x₂，…，x_N映射为特征空间中的向量集合Φ（x₁），Φ（x₂），…，Φ（x_N）。同样，在特征空间中也可定义Fisher判别中的各参量，两类样本的均值向量为

样本类内离散度矩阵和总类内离散度矩阵分别为

样本类间离散度矩阵为

设投影直线的方向为w，则投影后应有

由上式解得的最优投影方向为。

Φ（x）在w^*上的投影为y＝（w^*）^TΦ（x）。

以上的计算都是在特征空间中进行的。由于特征空间具有很高的维数，甚至维数为无穷大，因此实际上直接操作是不可能的。考虑到可由Φ（x₁），Φ（x₂），…，Φ（x_N）线性表示，即有，则

上式中，

从而可得

其中，M＝（M₁－M₂）（M₁－M₂）^T，则

上式中，，而（K_j）_nm≜k（x_n，x_m），I为N_j×N_j单位矩阵，1_Nj表示对涉及的矩阵元乘以系数1/N_j。

可见，α实质上是矩阵L^-1M的最大特征值对应的特征向量，可以直接如下求得

α＝L^-1（M₁－M₂）

为了求解w，需要使L为正定。为此可以简单地对矩阵L加上一个量μ，即

L_μ＝L＋μI

其中，I为单位矩阵。

最终特征空间中Φ在w上的投影变换为k（·，x）在α上的投影，即

上式也表明转换回到了数据空间。对于Fisher线性判别法，分界点阈值点y₀可选为

（i＝1，2）为投影后的各类别的平均值，满足

对于基于核的Fisher判别方法，分界阈值点y₀可选为

（i＝1，2）为投影后的各类别的平均值，满足

综合上述，可得两类基于核的Fisher算法步骤如下：

①求（i＝1，2；j＝1，2…，N）。核函数取高斯径向基核函数。

②求及L_μ＝L＋μI。

③求。

④求训练集内各类样本投影。y_i＝w^T·Φ（X_j）＝，j＝1，2，…，N。

⑤求均值。

⑥求阈值点y₀。

⑦对于特定样本X，求它的投影点。

⑧根据决策规则分类。

对于多类分类，则首先实现两类分类，返回最接近待测样本的类别，然后用返回的类别和新的类别做两类分类，又能够得到比较接近的类别，以此类推，最后得到未知样本的类别。