1
社会科学方法论
1.12.4.2 二、效度

二、效度

定量研究除了要具有信度外,还要具有效度。所谓效度是指用测量工具准确地测量事物属性的程度。换言之,效度是指测量指标如实地反映某一概念真正含义的程度。当测量指标测量了所要测量的事物时,测量指标就是有效度的,即是一种有效的测量。反之,则被称为无效的测量或者测量不具有效度。

测量效度包含两个条件,第一个条件是,测量指标确实是测量所要探究的概念,而非其他概念。例如,智商测试测量的是智力,而不是忠诚或信念等其他概念。第二个条件是,测量指标能够准确地测量出这个概念。例如,智商为100的人,用测量工具所测得的智商就是100。第一个条件是效度的必要条件,但不是充分条件。显然,第一个条件比第二个条件来得更重要。例如,研究者想要测量小明的智力,就用智商测验这个测量工具来进行测试,得出智商分数为90分,但是小明的实际智商是100。可见这个测量工具并不准确或不准,但是它所测量的智力概念却是正确的。研究者可以修订这个智商测验,使之变得更有效。如果研究者改用其他测量工具来测量小明的智商,得到另一个分数100,显然这个测量工具是有问题的,因为这个测量工具根本不是在测量智力,而是在测量其他的概念,或者根本没有测量任何概念。

在定量研究中,测量指标越能揭示概念的真实性,就越有效度。这就是说,一个测量的效度愈高,测量结果越能代表所要测量的对象特征。效度是科学测量工具最重要的必要条件,一个测量若无效度,则无论其他优点多么突出,都无法发挥真正的功能。因此,选用测量工具或自行编制测量工具,首先要评价测量工具的效度。在检验测量效度时,必须考虑测量的目的和功能。一个测量所测得的结果,必须符合该测量的目的,才能成为准确而有效的测量工具。

定量研究中有许多变量不能被直接观察到,只能通过可观测的外在行为进行推测,这就涉及潜在变量(latent variable),因而在概念结构与测量指标之间存在着一定程度的推论,结构效度就与这个推论有关。结构效度所涉及的问题是:从指标到概念之间的推论究竟有多合理?结构效度的重点不在于测量工具本身,而在于从观察到结果所做的推论是否合理。

值得一提的是,效度并非非此即彼的东西,在大多数情况下,它是一种程度。一个测量指标很少完全有效或无效,更多的情况是处于这两者之间的中间状况。测量效度可以分为内部效度(internal validity)与外部效度(external validity)。内部效度是指测量指标真正地测量想要测量的概念或变量的程度。而外部效度是指把测量结果向外进行推广的能力。内部效度又可以进一步分为内容效度(content validity)、效标效度(criterion validity)和结构效度(construct validity)三种类型,它们分别从不同的方面反映测量的准确程度。

(1)内容效度。内容效度旨在检验测量内容的适当性,即检验测量项目对有关内容或行为范围取舍的适当性。成就测量和熟练测量特别注重这种效度。例如,在成就测试中,测试题目是根据教学大纲和教材内容适当选取的,内容效度就是判定测试问题是否符合所要测试的目标。由于这种检测效度的方法必须针对课程的目标和内容,以系统的逻辑方法详细分析问题的性能,故又称为课程效度或逻辑效度。一个有较高内容效度的测验必须满足两个条件:其一,要确定好内容范围并使测验的全部项目均在此范围内。所谓内容范围可以是具体知识或技能,也可以是复杂行为。其二,测验项目应该是已界定内容范围的代表性项目。换句话说,就是测试项目包含了所测的内容范围的主要方面,并且使各部分项目所占比例适当。需要注意的是,在实际应用中,要避免把表面效度(face validity)与内容效度混淆起来。表面效度是指人们对测量是否真正地测量想要测量东西的判断。表面效度不是效度的客观指标,表面效度不能真正反映测量的有效程度,但是表面效度能影响被试的动机,从而影响测验的效果。所以在编制测验时,表面效度是一个必须考虑的问题。

(2)效标效度。效标效度又称为准则效度、实用效度或经验效度,是用测量分数和效度标准之间的相关系数来表示测量工具的效度。它指的是用一种不同以往的测量方式或指标对同一事物或变量进行测量时,将原有的测量方式或指标作为准则,用新的方式或指标所得到的测量结果与原有准则的测量结果作比较,看二者的相关程度,并用这种特定的相关系数,即效度系数来反映测量工具或手段的效度。如果新的测量工具与原有作为准则的测量方式或指标具有相同的效果,那么,其效度系数就高,新的测量方式或指标就具有准则效度。例如,研究者想要测量大学生对自己过去一年在校表现的看法,就可以先询问大学生过去一年的学习成绩,然后再将学生所说成绩与学校记录进行比较,从而求得效标效度。

(3)结构效度。结构效度是最复杂的内部效度,又被称为“构念效度”,它是指测量工具能够测量理论的概念或特质的程度,或者简单地说,即概念结构与测量指标之间的拟合程度。结构又称为概念,它有三个特点:第一,它是一个抽象的概念,结构通常是由若干个更简单的“亚概念”或次级概念构成。第二,结构因其抽象性而无法被直接观察到。第三,结构通常是为某些特殊的研究目的而设计,研究者基于研究的需要经常会“发明”一些结构。例如,组织规模是一个结构,包含了职工人数、部门总数、生产线总数、资本额、营业额等次级概念或维度,这些次级概念是相当具体的,易于测量。结构也有不同的抽象程度,组织规模是抽象程度较低的结构,而工作兴趣则是抽象程度较高的结构,是一种“假设性结构(hypothetical construct)”,因为这个概念所包含的次级概念或测量指标尚未找到,因此只好假设其存在,以待有更多的验证。

在理想情况下,研究者能够指出被测量的概念结构与其他变量之间的关系,如果这些关系被证明确实存在,那么就存在着结构效度。换句话说,如果研究者发现理论所预测的概念结构与其他变量之间的关系确实存在,而理论没有预测的关系也确实不存在,这就表明测量具有结构效度。例如,有这样的理论观点:社会阶层与偏见呈反比,即社会阶层愈高,偏见程度愈低。研究者为了检验这个理论,构建了两套不同的指标。研究者用第一套指标对受访者进行调查,验证了这个理论。然后再用第二套指标来检验这个理论,也得到了证实。据此研究者可以说,新的测量工具即第二套指标具有较高的结构效度。

在检验结构效度中,经常用要素分析(factor analysis)来确定测量指标是否与概念结构相符。研究者必须先从某个理论结构出发,然后再进行测量和分析,以验证其结果是否符合原有的理论结构。结构效度包含复杂的内容,包含两个或以上的概念,以及两个或以上的操作化定义,并探讨了结构之间及定义之间的相互关系。值得注意的是,研究者在讨论理论结构时,必须考虑到周延性及排他性。周延性要求对原有理论结构有充分的了解,而排他性则要求将无关的理论结构排除在外。