当各类的均值比较接近和各类内的散射又比较大时，各类的空间区域就会发生较大的重叠。在极端情况下，各类的均值相等，这时，从类均值向量中就提取不出分类信息。可采用“总体熵”的概念，解决此类问题。

令p（x）为总体概率密度分布，并且定义总体熵为H_p＝-E［lgp（x）］。假设线性变换W把R维模式样本x映射到d维空间y，即y＝W^Tx。映射之后，总体熵是W的函数，即H_p＝-E［lgp（W^Tx）］。

对模式样本x的协方差矩阵进行K-L变换，得到相应的本征值λ_k（k＝1，2，…，R）和对应的本征向量u_k。λ_k实际上是各维的总方差，对各维方差进行归一化处理，有

其中，P（ω_j）为ω_j先验概率。

γ_jk具有概率的性质，可用来定义各维的熵

很明显，若离散程度大，γ_jk在各类的分布比较均匀，则J（x_k）最大，由方差λ_k提供的不确定性也最大；若γ_jk在各类中的分布比较集中，则J（x_k）较小，由方差λ_k提供的不确定性也较小，可见使用λ_k较小的坐标做分类特征比较有利。因此在总体熵最小化的前提下，把J（x_k）按由小到大的排队为

J（x₁）≤J（x₂）≤…≤J（x_d）≤…≤J（x_R）

取前d个较小的熵值确定d维坐标系统。

例14.6　利用例14.5的数据，通过总体熵最小化，提取方差信息，完成一维特征提取。

解：