全屏显示专题章节

明确评价主体,事实上就是确定谁来主持和进行政策评价,不同评价主体的主要优势与劣势可见表8-4.其中,内部评价,即组织内部的人员或机关从事评价工作具有下列优点:一是对于机关组织及其政策方案与实施过程有着较为全面透彻的认识；二是具有不断进行监控与评价活动所需要各种条件的制度基础；三是在某一既定组织内,负责政策评价的个人或机构,有机会直接影响政策执行过程,政策结论易于转化为确定政策去向的依据。外部评价人员具有如下优点:一是利于维持评价的客观性与正确性；二是善于运用科学的评价标准及评价方法,来检验政策的基本理论及政策实际效果；三是某些时候并不必依赖于组织有限的资源进行评价工作；四是对于政策执行客体的主观感受与需求,可能比内部评价人员有更正确的认识。

所以,通过对评价主体行为特征的分析,如何扬长避短选择适当评价主体,是这一阶段的重点。其基本策略,是外部第三方评价为主,在此基础之上,通过制度保障消除其在获取资料、结论反馈等方面存在的障碍,从而达到兼顾评价的客观公正性、方法的科学性及结论反馈的畅通性的目的。

(二)可考核和比较分析的目标

如前所述,在政策评价缺乏制度化的地区,政策评价工作处于不受重视、被怀疑甚至被排斥的工作。在中国,目前大部分政策评价均可归类为内部评价范畴,主要是由政策制定者本身(或从属的政策研究机构)、人大政协等承担。前者的评价很大程度上表现了表8-4中所示的内部评价的缺陷,后者则呈现"舆论界及客体评价"的问题:评价不系统往往注意局部或受个人价值观影响,结论科学性难以保证,对个别利益团体的过分关注反而对政策的总体实施造成损害等问题。

明确评价主体的基本标准,是确保评价工作的"客观公正"和"系统全面",为了"客观公正",又衍生出评价工作能否"独立自主"地开展。在缺乏独立的第三方评价机构前提下,鼓励具资质的学术专业研究团体参与,是一大进步,但要注意主体和决策者之间的系列问题。围绕这一标准,确立这一阶段的可考核和比较的目标如下:

1.明确是内部还是外部评价。如果是内部评价,明确弥补内部评价弊端的措施。

2.如果是外部评价,需要明确下列四方面的问题。

(1)评价主体能够独立开展、保证客观公正的可能性。

(2)评价主体对政策过程较全面把握和资料获取便利程度。

(3)评价结果可直接反馈于政策执行和政策调整的机制。

(4)评价主体的资质和能力。

3.鼓励政策研究者或评价者,对一些重大政策,自主独立进行系统评价。

把上述目标用一系列指标加以判断,大致可以分析出政策评价主体的确定工作,是否符合"客观公正"的基本要求,如果对不同政策的评价主体进行比较分析的话,能够判断评价结论是否客观公正和系统全面。

二、政策评价可行性分析

(一)目标与原则

顾名思义,政策评价的可行性分析,是在正式开展政策评价之前,先进行相应的情景分析,明确在特定政策环境下,政策评价能否做到客观公正、系统全面,能否达成政策评价的基本目的。在不具备相应条件下的政策评价,其结果的可信度是被关注的焦点。情景分析的内容包括:

1.分析政策评价制度化的进程。明确目前要开展的评价,在哪些方面受到制度的保障,哪些方面没有。对缺乏制度保障可能带来的问题,如何弥补。

2.分析政策评价所需要的外部条件和主要影响因素,包括:

(1)相关人员尤其决策者的重视程度。

(2)评价结论反馈机制的畅通程度。

(3)所需评价资源的保障程度。

3.分析政策评价所需要的内部条件和主要影响因素,包括:

(1)政策评价主体是否相对独立。

(2)政策目的、目标(体系)是否明确。

(3)各方对政策目的、目标(体系)认识是否一致。

(4)政策效果是否可测量,是否相对稳定

4.总结归纳分析结果,明确本次政策评价工作的可行性,以及在这种条件下进行的评价,结果的可信度。

5.从社会层面和技术层面,寻找弥补可行性分析暴露不足的针对性策略和方法。

政策评价的可行性分析,主要是分析社会层面的难点的环境条件。而这些条件往往是相互影响和依赖的,一般而言,政策评价缺乏制度化保障的环境下,相关人员对政策评价工作,要么不受重视、被怀疑甚至被排斥；政策评价所需的组织、人力等方面资源难以得到保障；即使有相应的评价,大多为简单的内部评价,倾向于以经验判断替代科学研究,难以保证评价的公正客观性,而从属的人员或机构进行的内部评价,往往受上级的压力左右,评价易成为论证领导意图的过程。

政策评价的可行性分析,其过程非常简单,运用情景分析的思路和方法,首先是将可考核目标逐步化解为具体的指标,通过这些指标的单因素和综合分析,得出五方面的结论:1.政策评价制度化的程度；2.确定政策评价制度化不高带来的困难,拟定弥补的策略；3.综合评价政策评价的可行性；4.确定不可行的具体细节,并拟定弥补的策略；5.确定弥补策略的效果,以及弥补后的总体可行性。

三、制订政策评价实施计划

完成了政策评价主体确定和可行性分析工作,意味着政策评价的工作逐步进入技术层面,制订政策评价实施计划是技术工作的第一步,也是承上启下的关键一步。这里将介绍政策评价实施计划的目标和操作步骤。

(一)目标和产出

政策评价的实施计划,包括两方面的含义,一是评价工作各类保障的规范和依据,包括评价主体的定位,各类人评价资源的供给程度,所需资料的范围和可获得性程度,以及评价结果的反馈机制等,二是评价工作的技术规范,规范着后续评价的所有技术活动,包括评价的目标、内容、指标、数据收集和整理分析的方法,以及报告撰写的格式等。

上述概念包含两层含义,事实上也就是计划制定的目标。不过,到了制订评价计划的阶段,前述的社会层面的问题,也就是评价主体和可行性分析的工作已经有了着落,就像谈判已经达成了口头协议,只是要用文字描述和记录下来罢了。

狭义的政策评价实施计划,更多是指后面一种意思,即技术层面的工作为主。用一句通俗的话来说,制订评价实施计划,是要告诉人们:什么人、出于什么目的、根据什么标准、采用什么方法、对何类政策进行的评价?回答了上述五个问题,也即达成了评价实施计划制订的目的。

在这句话中,包含了政策评价的五个要素,即评价者、评价对象、评价目的、评价标准和评价方法,其中评价者是评价的主体,评价目的是评价的出发点,评价标准是评价的准则,而评价方法则是评价赖以实现的手段。对于特定政策的评价,就是由这些要素的有机组合所构成的活动过程。因此,评价实施计划就是对上述要求用书面方式作系统、详细地论证与说明。同时,对前一环节已在制度层面的意向,在评价实施计划中加以具体落实,并对安排及使用加以详细说明。所以,制订评价实施计划的产出非常简单,是形成书面的计划,并落实相应的资源准备工作。具体任务表述如下,这些具体的任务也大致构成了制订评价实施计划的流程和步骤:

1.系统收集信息。围绕政策评价实施计划的形式内容,主要是收集"根源-直接(-间接)影响因素-问题-危害-政策思路-总体目标-目标体系-方法措施-效果"等信息。

2.构建特定政策的评价指标体系。明确指标与"根源-直接(-间接)影响因素-问题-危害-政策思路-总体目标-目标体系-方法措施-效果"的联系,并确定每一个指标均可通过相应的资料收集方法获得。

3.完成评价实施计划。结合上述两部分信息,同时明确资料收集对象、指标测量方法、资料收集方法拟用分析方法、时间安排、经费及人员安排。

4.落实评价实施及分析阶段所需要的资源。确保所必需的人力、物资、资金准备落实到位。

(二)理论基础和思路

分析制定评价实施计划的目标和产出,不难发现,其工作与政策研究者完成一份项目研究的标书大同小异。事实上,其基本格式也与项目标书雷同,包含评价依据、目的意义、评价目标、评价内容和难点、评价方法、技术线路、日程安排、评价产出、评价主体的基础和条件、经费预算、人力安排等。

制订评价实施计划,与研究项目标书的差异,主要体现在前者是命题研究,后者可以是命题但大多数是自由选题。对一个特定政策的评价来说,政策是既定的,所以依据所有评价计划中的包含的内容,都是围绕既定政策展开的。这些格式内容的讨论,不是该教材的侧重点,所以这里不详细展开讨论。

评价主体面临的是两种类型的政策:严格遵循政策制定科学程序的思路和方法,研制和执行的政策,以及没有遵循科学制定政策的思路和方法制定的政策,其中,经验和直觉的成分或多或少存在。前者可以继承广泛的基础信息,包括"根源-直接(-间接)影响因素-问题-危害-政策思路-总体目标-目标体系-方法措施-效果"等所有信息,以及这些信息之间的逻辑关系,包括定量关系、评价目的,是通过政策价值的判断,检验政策研制过程的科学性、逻辑性、合理性和可操作性,同时为政策修正等政策去向提供依据。

后者即没有遵循科学制定的思路和方法制定的政策,往往只能给评价主体一份政策文本,评价目的是通过政策价值的判断,提供思路、方法,以如何完善和提高政策研制过程的科学性、逻辑性、合理性和可操作性,同时为政策修正等政策去向提供依据。这类政策往往是不完善的政策,评价的目标和内容,尤其是评价指标的确定,往往需要依据模糊的定性描述予以表述,评价者和决策者的争议会非常之大,同时,这类政策的最大问题不在于有无效果,而是如何加强科学制定政策的方法学思路。而且,每个不同政策,其不完善之处是五花八门、各不相同。所以,以这类政策作为政策评价计划制定的样板,难以具有代表性和说服力。

鉴于此,这里将以遵循政策制定科学程序的思路和方法,研制和执行的政策,讨论评价计划制定的思路,评价计划制定思路、环节和流程见图8-3.事实上,围绕特定政策,有了"根源-直接(-间接)影响因素-问题-危害-政策思路-总体目标-目标体系-方法措施-效果"等所有信息,完成一份形式上的评价计划,是非常简单的工作。评价的背景和依据,可以取材于问题、问题的危害,以及前期政策制定过程所做的工作,目的前面已经提及,目标、研究内容和指标从"危害-政策思路-总体目标-目标体系-方法措施-效果"之间的信息中搜寻,外加注意观察目标之外的政策效果。本章所讨论的"政策评价步骤和方法",是政策评价的指导性方法,每个步骤中提及的为常用的具体研究、资料搜集和分析方法。政策评价步骤和方法以及每个步骤期望获得的结果,是技术路线的基本框架。计划中涉及的其他内容,已经不同程度地描述过,在技术上也不是重点。

(三)步骤与方法

1.系统收集信息

系统收集信息,首先是要熟悉两方面的信息和内容。一是政策评价计划的基本形式结构。如前述,包括评价依据、目的意义、评价的目标、评价内容和难点、评价方法、技术线路、日程安排、评价产出、评价主体的基础和条件、经费预算、人力安排等。二是要继承和吸收前期政策制定过程所有工作的信息,主要是"根源-直接(-间接)影响因素-问题-危害-政策思路-总体目标-目标体系-方法措施-效果"等信息。

其次,是依据政策评价计划的基本形式结构,按思路中所示,将前期继承的信息,尽可能逐步撰写,形成基本的计划框架。同时,分析和掌握信息不足和缺陷之处,以做到心中有数。

2.研制和构建政策评价的指标体系

围绕需要评价的特定政策,构建评价指标体系,是政策评价过程的关键,也是技术层面工作中难度最大的工作。要顺利构建评价指标体系,需要做好下列两方面的具体研制工作。这个过程需要逻辑推导和系统收集结合。

一是明确政策目标内的效果或价值指标。如果该项政策的制定,基本遵循了政策制定科学程序,明确政策目标内的效果指标,主要是依据前继阶段积累的资料,进行逻辑推导和演绎的过程,也就是说,前期工作的扎实程度,决定着评价工作的容易程度。如果该项政策的制定,基本上没有遵循政策制定科学程序,则前期工作不可能有丰富的资料积累,这时需要的是系统收集,基本思路是"政策问题确认"阶段提供的思路、步骤和方法。参见第三章"政策问题确认"。

政策目标内的效果或价值指标,主要"根源-直接(-间接)影响因素-问题-危害-政策思路-总体目标-目标体系-方法措施-效果"等信息推导。政策目标外效果,首先是系统收集潜在的政策目标外效果(文献和论证)；然后与前期研究的"根源-直接(-间接)影响因素-问题-危害-政策思路-总体目标-目标体系-方法措施-效果"等信息比较,运用排斥法,类似的排除,不同的保留；第三,对所列的目标外效果指标化和量化,最后定性定量多重论证。

表9-5中,基本上规范了政策评价的基本目标,这些目标涵盖的评价内容和主要指标的定性表述思路,以及形成具体的可量化指标时,需要的信息来源。对一个特定政策的评价,评价主体要做的工作,只是在这些一般含义的目标、指标基础上,赋予特定政策的内涵。即使是对那些按经验直觉制定的政策,表9-5所示,也给出了构建目标和指标体系的思路,如果评价者重温一下政策制定科学程序中的思路、步骤,以及各步骤的目标、任务和方法的话,构建评价目标和指标体系的工作,难度不大但工作量非常大。

3.完成评价实施计划

如前所述,政策评价的目标和指标体系构建,是制订评价计划中最关键和最困难的工作,在完成了这些工作之后,以此为依据,去逐步完善评价实施计划,一般不存在明显的困难。如,指标的细化和描述可以形成评价内容。另外,还需要简单提示的是方法学等几方面的任务。

一是资料收集对象。除已有统计资料、文献等,政策评价指标测量值的确定多依赖于社会调查来实现,用于收集资料的对象多为政策客体人群,少数情况下指标测量值的对象是事物。当资料收集对象为多样本时,明确采取普查的方法对每一对象进行调查,还是采用抽样方法进行调查；如果采用抽样方法进行调查,确定采取何种抽样方法进行抽样。

二是指标测量方法。多数的评价指标测量需要进行社会调查获得,但是有些指标测量也需要用实验方法加以测量,如一项旨在减少城市污染的公共政策,那么它的评价指标中必然要有空气污染程度的指标值,这类指标值需要用实验方法测量获得。计划中必须明确需要收集的指标及描述。

三是资料收集方法。收集资料方法取决于指标体系中的具体指标,主要为实验法与调查问卷法,同时充分利用现有统计资料,避免重复工作并可节省人力物力与时间。

一般来说,定量资料的来源,主要包括决策部门提供的政策相关统计资料、政策运行的观察资料,评价者需要从决策部门尽可能收集到如下资料:政策的规模、政策作用客体的构成情况、执行者与政策作用对象的接触情况、政策作用对象接受政策后的一般体验、政策成本、政策作用对象参与政策前后的一般表征变化等。这些资料有些可能是尚未进行定量的,但是决策机构的直接判断也是评价者在评价过程中需要参考的一个重要方面。政策运行的观察资料则需要评价者设计科学的调查问卷来获得,为保证调查结果的客观可信性、调查问卷的设计过程需要很多技巧和技术,在社会科学研究方法类的专著中均有详细描述,评价者应针对特定政策的实际情况选取。

定性资料主要通过与政策作用对象及相关人员的访谈获得。对政策作用对象的访谈,是指评价者在评价实施过程中,与政策作用对象进行非正式而自然的访谈,以了解到政策作用客体的参与情况、受激励情况、对政策的满足程度、政策的进展情况等。对相关人员的访谈,是指评价者有时必须与地方官员、其他政策的执行人员、重要地方机关人员、社区领导进行非正式的访谈,以了解他们对政策价值的判断、评价政策有益于或有害于社区的程度、对政策持续的看法,这些定性资料也可以通过半定量化处理将其转化为半定量资料,也可以直接以定性方式对评价结论加以描述,作为定量分析的重要补充。