1
文本自动标引与自动分类研究
1.6.3.3 11.3 系统测试分析

11.3 系统测试分析

文本的分类过程是一个映射过程,评估文本分类系统的标志是映射的准确程度和映射的速度。映射的速度取决于映射算法的复杂程度,而评估映射准确程度的参照物是通过专家思考判断后对文本的分类结果,与人工分类结果越相近,分类的准确程度就越高,通常采用两个指标进行衡量:查准率和查全率。

查准率是所有判断的文本中与人工分类结果吻合的文本数所占的比例。其数学公式表示如下:

img146

其中Vp表示分确率,Nc表示正确分类文本数,Na表示参与分类的全部文本数。

查全率是人工分类结果应有的文本中与分类系统吻合的文本数所占的比例,其数学公式如下:

img147

其中Vr表示查全率,Ns表示原本应有的本类文本数,Nc含义同公式(11-1)。

查准率和查全率反映了分类质量的两个不同方面,有必要对两者进行综合考虑。基于这一思路,也有如下的评估指标,即F1测试值。其数学公式如下:

img148

对于系统运行结果的测试我们采用了上述三个参数来评价:查全率、查准率和F1测试值(以下测试数据均为开放测试,其中训练及测试的文本数量见前述语料选择),测试结果如表11-2所示。

表11-2 系统总体实验结果评估

img149