第三节　政策评价实施与分析

一、收集所需资料

公共政策的作用对象是社会事物,即使一些针对自然资源等事物所制定的政策,在实施过程也需要通过对人的行为加以鼓励或限制,根本目的仍然是为了促进人类社会的发展。因此,对公共政策进行评价,必然要获取两类数据,一类是公共政策作用对象对政策的主观感受,另一类是对公共政策运行后社会系统相关参数的变动值。

这个阶段的目标,就是要将上述两类数据收集出来,数据又可以根据评价的目标,分为政策前后(有无)的政策对象及社会环境的状态,以及政策对象与社会环境间的相互关联、相互作用及影响。

要获得这些数据,除收集利用现有资料和实验法获得外,开展社会调查是最重要的手段。政策评价调查中,常用的两类方法为问卷调查与定性访谈,其中问卷调查是最常采用的调查方法,主要优势在于可以获得定量数据,便于后期的定量分析；定性访谈(访问法)虽然缺乏对数据资料的定量,但是,在发现评价实施中存在问题的广度方面、探索问题原因的深度方面,要较问卷调查更为有效,往往可以发现一些研究者和决策者都没有察觉或没有引起重视的问题,因此条件容许的话,以定性访谈作为问卷调查的补充,会使评价结论更为全面。

二、常见的评价方法

(一)常用的定性评价方法

定性研究(qualitative research)是研究社会现象的一种广泛采用的方法和手段。定性研究以问题开始,为了获得问题的答案,研究人员需要收集大量资料。定性资料通常是以文字、声音、图像形式表示,而不是数字形式。定性研究是一个发现问题的过程,并可以帮助解释定量研究的结果,回答事件为什么会发生。

定性研究的特征:

第一,定性研究人员面向自然世界,收集有关感官经历的资料,包括人们看到、感觉到、听到、尝到和闻到的一切。定性研究不是在实验室条件下进行实验或通过邮寄问卷进行,而是研究人员深入到社会,接触人们的日常生活,系统理解人们的生活经历。

第二,定性研究人员工作在现场,与人面对面接触。他们通过人文主义的多种方法如听、说、看、读等试图理解人们怎样认识他们的世界。研究人员与人们交谈、就像他们的亲属一样深入其日常生活聆听他们的谈话、观察他们的居住空间、服饰、工具和装饰等。

第三,研究人员评价人们生活世界的一切,包括凌乱的东西。他们设想通过探索复杂的事物,获得对人们经历的详细理解。研究人员整体地、全面地将社会世界作为一个综合的系统来观察,而不是以可测量和统计处理的变量来观察,通常进行详细描述和解释而不是测量和预测。

第四,研究人员本身在定性调查研究中非常重要。研究人员系统地反映对人们日常生活的影响,因为他们进入到被调查者的世界,他们可能将被调查者的世界以某种方式定型。

第五,定性研究对于个人经历非常敏感。研究人员的世界观可能使整个项目定型。从最早的好奇到最后的报告,研究人员的个人经历是一面透镜,凭它来观察世界。研究人员的性别、种族、年龄、政治、信仰等都影响定性研究的结果。

第六,研究人员试图不对社会世界提出一个刚硬的、先验的框架。他们想了解哪些是组成被访谈者生活的重要问题。在研究之前,往往没有正式的假释,但研究人员提出一些引导性问题。这种概念框架可以且常常被改变、修改和精练,或许更重要的问题被发现。另外,根据对研究的场所、被访谈者的认识和研究者对于项目不断增长的知识,这种资料收集活动可以改变。

第七,定性研究依靠多方面和反复的复杂推理,它在部分和整体之间移动,如从理论到经验的演绎推理和从经验到理论的归纳推理。定性研究人员传统上是进行从特殊到一般陈述的推理,归纳多于演绎。

最后,定性研究是解释性的。定性研究注重描述、分析、解释。研究人员理解和描绘那些通过个人特有的社会经济、历史经历滤过所了解的东西。通过这面透镜,研究人员理解他/她所了解的、解释他/她所进入的世界。现场记录和访谈片段本身不能说什么,他们必须经过有思想的、伦理的和政治敏感的方式解释。

定性研究的几种常用方法:

1.深入访谈(in-depth interviewing)是利用没有问卷或提纲的开放性谈话,或是利用准备好的访谈提纲(开放式问题)进行的访谈,问题的顺序不是严格的。这种访谈可能是与非故意选择的个体间随意的非正式谈话,或是与关键的知情者的正式访谈。这种访谈能产生一些想法和假设。

2.专题小组讨论(focus group or group interviews)是根据研究目的确定好要讨论的主要问题和目标小组,然后召集一小组同类人员在主持人用事先准备的讨论提纲引导下进行开放式讨论。

3.选题小组讨论(nominal group discussion)是一种程序化的小组讨论过程,其目的是为了寻找问题,并把所发现的问题按其重要程度排列出来,也就是要在一个由具有各种不同既得利益、不同思想意识和不同专业水平的人组成的小组中发掘问题并排出个先后次序来。

4.观察法(participant observation)是通过生活在另一种文化或亚文化环境中和参与被观察人的日常生活而收集资料。观察能使人理解生活的完整的文化模式,非语言表达的行为也能记录；它能产生假设并帮助解释由其他方法获得的资料。

5.案例调查(case studies)提供与某个特定的人、家庭或事件(如医生和病人的关系)的经历有关的深入的定性资料。社会学研究中,在深入调查个人与机构的关系,研究某种行为发生的原因,解释某种观点、信念时需要用案例研究方法。

6.地图法(mapping)绘制简单的地图或在当地已有的地图上,将有关信息或内容在地图上标志出来。了解某社区某现象的特点及其与周围环境的关系。可以由研究人员操作,也可由当地熟悉情况的人操作。

定性研究的抽样:

定性研究通常对小样本人群进行深入调查,不像定量研究的目标是大样本人群以寻求统计学意义。

定性研究的抽样是目的性的而不是随机的。定性研究的样本通常不是全部事先指定的,可以随着现场调查的开始而发展。

(二)常用的定量评价方法

常用的定量评价方法主要包括数理统计学方法、软科学研究方法和卫生经济学方法。

1.数理统计学方法一般研究按照操作的难易程度,将综合评价方法划分为简单综合评价法和复杂综合评价法。

简单综合评价法就是将总体中各项评价指标分别与相应的评价标准进行比较,然后根据一定的标准对各项指标的比较结果进行评分,将各单因素的分数简单综合,去评价总体状况。简单综合评价法有两种处理方式,一种是总分法,一种是简单平均法。

复杂综合评价法通常包括以下8种:综合评分法、层次分析法、秩和比法、数据包络分析法、模糊综合评价法、Topsis法、功效系数法、因子分析法。这是研究最常采用的统计学方法。其中,(1)综合评分法(Synthetical Scored Method)是建立在专家评分法基础上的一种重要的综合评价方法。首先由参加评价的专家根据评价目的、评价对象的特征选定必要的评价指标,逐个指标定出评价等级,每个评价指标用分值表示。然后以恰当的方式确定各指标的权重,并选定累计总分的方案以及综合评价总分值的范围,以此为准则,对评价对象进行分析评价,决定优劣取舍。此法适用于评价指标无法用统一的量纲进行定量分析的对象。(2)层次分析法(AHP),该法用系统分析的方法,对评价对象依评价目的所确定的总评价目标进行连续地分解而得到各层评价目标,并以最下层作为衡量目标达到程度的评价指标。(3)秩和比法(RSR),是多项指标的一个综合数,具有0～1连续变量的特征。不论分析的问题是什么,计算的RSR值越大越好。(4)数据包络分析法(DEA),是运筹学的一个新的研究领域。DEA方法的基础是决策单元(Decision Making Units, DMU)的"相对概念",DEA借鉴了计量经济学的边际效益理论和高等数学中的线性规划模型,构造出生产可能集的分段线性的前沿边界,通过界定是否位于"生产前沿面"上来比较各决策单元之间的相对效率,规模收益,显示最优值(投影值),由于其基本思路是以各数据点的外包络面为基础的,因此这一方法被称为数据包络分析方法。(5)模糊综合评价法,可分为单层次和多层次模糊综合评价两种方法。前者根据统计方法或解析方法确定的各单项指标的隶属度,通过模糊变换得到关于评价对象总的隶属度,并以此来判定评价对象所处的水平。在复杂的系统中,对某一事物进行评价,需要考虑的因素往往很多,并形成不同的层次,这样对诸因素权重的分配将会出现困难,对此,可以采用多层次模糊综合评价方法。它是在单层次模糊综合评价的基础上,进行多次模糊变换,得到评价对象的综合隶属度,并以此判定评价对象所处的状态或水平。(6)Topsis法,是系统工程中一种常用的决策技术,较早在工业经济效益的综合评价中得到应用。其基本思想是首先建立归一化的原始数据矩阵,找出有限评价对象中最优评价对象和最劣评价对象,然后通过计算某一评价对象与最优评价对象和最劣评价对象的距离,获得评价对象的接近程度,从而进行优劣的比较。(7)功效系数法,该法是依据多目标规划的原理而提出的。其基本思想是通过一定的函数关系将多种指标评价对象转化为同度量指标,然后经过指标的加权平均,形成综合指标,也称为总功效数,作为衡量综合目标实现程度的综合评价值。(8)因子分析法(Factor analysis),该法是数据缩减的一种多元统计方法,是主成分分析法的推广。目的是以信息损失最少为前提,把众多的指标合成为数较少的几个不可观测的因子指标,使变量具有更高的可解释性。

2.软科学方法如灰色生成综合集成法。其基本方法与操作步骤是:首先将全部考核指标进行分类,一般评价指标包括三大类即:指标值越大越好的指标；指标值越小越好的指标；指标值既不能太大也不能太小的指标。其次用灰色生成理论与方法将各类指标值进行无量纲化数据处理。最后将各类无量纲化的指标值分别乘以各级指标的权重,然后相加得到被考评单位的最终评价分数。

3.卫生经济学方法主要包括成本效果分析、成本效益分析及成本效用分析。主要是研究成本投入与效益产出之间关系的研究方法。卫生筹资公平性分析技术(包括洛伦兹曲线和基尼系数等技术)

(1)成本效果分析:是评价卫生计划方案经济效果的一种方法,是对各个方案实施结果直接进行比较分析和评价的一种方法。它是以最低的成本去实现确定的计划目标。任何达到目标的计划方案的成本越低,该计划方案的经济效益越好；或者任何一定数量的卫生资源在使用中应获得最大的卫生服务效果。成本效果分析一般有三种方法:成本相同时比较其效果的大小,效果相同时比较其成本的高低,比较增量成本和增量效果的比率。

(2)成本效益分析:成本效益分析是通过比较各种备选方案的全部预期效益和全部预期成本的现值来评价各种备选方案,作为决策者进行计划方案的选择和决策时的参数和依据的一种方法。其主要内容是研究一个方案的效益是否超过它的资源消耗的机会成本,只有效益不低于机会成本的方案才是可行的方案。主要方案有四种①净现值法。②年当量净效益法。③效益成本比率法。④内部收益率。

(3)成本效用分析:主要有①质量调整生命年(QALYs)。②失能调整生命年(DALYs)。

(4)洛伦兹曲线:洛伦兹曲线研究的是国民收入在国民之间的分配问题。它是美国统计学家洛伦兹提出的。它先将一国人口按收入由低到高排队,然后考虑收入最低的任意百分比人口所得到的收入百分比。例如,收入最低的20%人口、40%人口等所得到的收入比例分别为3%、7.5%等,最后,将这样得到的人口累计百分比和收入累计百分比的对应关系描绘在图形上,即得到洛伦兹曲线。

(5)基尼系数:一般来说,一个国家的收入分配,既不是完全不平等,也不是完全平等,而是介于两者之间；相应的洛伦兹曲线,既不是折线OHL,也不是45°线OL,而是像ODL那样向横轴凸出,尽管凸出的程度有所不同。收入分配越不平等,洛伦兹曲线就越是向横轴凸出,从而它与完全平等线OL之间的面积越大。因此,可以将洛伦兹曲线与45°线之间的部分叫做"不平等面积"；当收入分配达到完全不平等时,洛伦兹曲线成为折线OHL,OHL与45°线之间的面积A+B就是"完全不平等面积"。不平等面积与完全不平等面积之比,称为基尼系数,是衡量一个国家贫富差距的标准。

(三)定性与定量相结合的方法

如综合集成系统评价法。由于卫生政策评价是一项跨学科、跨行业、跨部门的庞大而复杂的系统工程,涉及多个学科的知识。因此在研究时单一的方法已不能解决所有问题,必须将多种研究方法相结合,发挥多种研究方法的优势,对研究对象进行综合、系统评价。综合集成系统评价法的特点是:在定性分析中有定量分析,在定量分析中有定性分析,即将定量分析与定性分析相结合,对评价对象进行综合系统评价。