可分性判据的基础主要有三类：距离、概率密度函数和熵函数，因此基于可分性判据的特征提取方法也有相应的三种。

1．基于分类误差的可分性判据

一个理想的模式识别系统应能以最低的错误率分类未知模式。贝叶斯最小错误率决策的类概率误差计算公式由下式给出：

其中，P（ω_i∣X）是第i类后验概率，P（X）是联合概率密度函数。但由于在一般情况下，误差不易计算，所以利用此方法提取特征实际上难以进行。

2．基于距离的可分性判据

基于距离的可分性判据的出发点是各类样本间的距离越大，类内散度越小，则类别的可分性越好。令D（x_i，x_j）为样本i与j之间的距离，则根据不同的定义，有欧氏距离、明考斯基（Minkoski）距离、马氏距离、切比雪夫距离等，它们的具体定义见第3章相关内容。

为了同时反映类内距离小和类间距离大的要求，可以构成准则函数：

其中，J_b、J_W分别为类间和类内总平均平方距离，S_b、S_W分别为类间和类内总散射矩阵，tr为矩阵的迹。

由于J₁的值与坐标系统的选择有关，因此也可以采用以下的准则函数：

其中，S_t为所有样本之间的总平均平方距离。

具体的计算过程为，首先计算S_b和S_W，然后对矩阵进行奇异值分解，得到本征值矩阵和对应的本征向量矩阵，最后取前d个最大的本征值对应的本征向量即可构成最佳变换矩阵W，再根据公式y＝W^Tx完成n维空间到d维空间的映射。J₃准则与J₂准则相比，仅是用行列式代替迹。

3．基于概率依赖度量的可分性判据

模式向量X和类别ω的依赖性可以由条件概率密度函数P（ω_i∣X）（i＝1，2，…，m）和联合概率密度P（X）之间的距离来度量。

Chernoff距离：　　J_C＝－ln∫P^s（X｜ω₁｜）P^1－s（X｜ω₂｜）dX

Bhattacharyya距离：J_B＝－ln∫P（X｜ω₁｜）P（X｜ω₂｜）^1/2dX

4．基于熵度量的概率可分性判据

熵的一般性定义为

α取不同值可以有不同的熵定义，如α＝1称为Shannon熵，α＝2则得到平方熵。

与概率依赖度类似，熵度量也能估计模式向量X和类别ω_i之间的依赖性。

例14.4　已知两类样本，ω₁＝｛（0，0，0）^T，（1，0，0）^T，（1，0，1）^T，（1，1，0）^T｝，ω₂＝｛（0，0，1）^T，（0，1，0）^T，（0，1，1）^T，（1，1，1）^T｝，试用散度J_D准则和通过熵最小化提取特征。

解：

（1）J_D准则方法

（2）熵最小化法