左 杰1,2 张 颖1 朱昌明1 肖 婷1
(1湖北省科技信息研究院 湖北 武汉 430071 2华中师范大学公共管理学院 湖北 武汉 430079)
摘 要:目前,湖北省共承担了11项国家重大科学仪器设备开发专项项目,如何对这些项目进行科学、有效的监理,如何对同期项目进行对比和评价,及时发现问题和不足,是摆在项目管理者面前的一道难题。文章拟采用项目等级评价法(Program Assessment Rating Tool,简称PART),对湖北省承担的3个国家重大科学仪器设备开发专项项目进行对比分析和评价,以期为同类型项目的监理和评价工作提供一种解决思路和方案。
教育期刊网 http://www.jyqkw.com
关键词 :项目等级评价法;项目监理;绩效评价
中图分类号:F426.46 文献标识码:A doi:10.3969/j.issn.1665-2272.2015.09.005
*基金项目:湖北省科技信息研究院2014-2015年度学术基金课题(项目编号:HBSTI2014-YB02)
收稿日期:2015-02-15
2011年,中央财政首次设立了国家重大科学仪器设备开发专项项目(以下简称重大专项项目),旨在支撑科技创新,提高我国科学仪器设备的自主创新能力和自我装备水平,服务经济和社会发展。项目设立至今,湖北省共承担了11项重大专项项目,为推动大型科学仪器设备的开发和应用做出了巨大贡献。但同时,如何对这些项目进行科学、有效的监理和评价,及时发现问题和不足,是需要项目管理者深刻思考的一道问题。笔者首次将项目等级评价法引入到重大专项项目的监理工作中,对同期立项的3个项目进行了对比和评价。
1 项目等级评价法的内容
项目等级评价法(Program Assessment Rating Tool,简称PART),是美国总统预算管理办公室推出的一种项目评价工具。它遵循“更严格、更系统、更透明”的原则,主要应用于项目绩效评价管理。目的在于加强政府支出的绩效评价,提高预算编制和审核水平。
1.1 项目等级评价法的原理
项目等级评价法是以客观资料为依据,经过设计一系列指标,提供以事实为根据的项目评价判断。从原理上看,项目等级评价法是一个诊断工具,从项目目标、项目规划、项目管理、项目效果等4个一级指标出发,并设计若干个二级指标,对被评价项目的目标、管理和成效进行全方位的评价,以确定该项目的有效性如何。对项目管理者而言,它为项目评价提供了一个基本框架,方便项目管理者实施系统评价;对项目承担者而言,该方法促使项目执行者参照这些指标规范自身行为、弥补不足;对社会公众而言,该方法也是其了解项目本身及项目监督过程的有效途径。
1.2 项目等级评价法的内容
项目等级评价法包含4个一级指标:项目目标、项目规划、项目管理、项目效果。项目目标是指项目的设计是否合理清晰,目标是否明确,项目成果是否具有良好的经济效益和社会效益;项目规划是指项目承担单位是否制定了合理的年度计划、长期计划以保证项目的顺利完成;项目管理是指项目是否有规范的管理体系、财务状况是否良好、是否对前期意见和建议进行调整;项目效果是指项目是否达到预期效果、能否满足实际应用的需求、能否达到产业化的要求。根据项目类型和需要,每个一级指标下面又分列3~4个二级指标,以便对被评价项目的目标、管理和成效进行细致而全方位的考核。
1.3 权重设计及计算方法
4个一级指标的满分均为100分,但所占权重有所不同。考虑到该评价法的考核重点在于项目最终的实际应用情况,故项目效果的权重占到50%,项目目标、项目规划、项目管理所占权重分别为20%、10%、20%。根据每个指标的得分和权重加总计算出该项目的综合得分,公式如下:
综合得分=项目目标得分×20%+项目规划得分×10%+项目管理得分×20%+项目效果得分×50%
1.4 确定项目级别
根据项目综合得分情况,相应地划分为四个等级:有效、基本有效,一般和无效,具体分数段设置可视项目类型和需要而定。具体到重大专项项目,笔者根据项目性质和实际工作经验,将这四个等级的分数段划分为:有效:90~100分;基本有效:70~90分;一般:50~70分;无效:0~50分。
对于单个项目而言,运用该评价可知项目进展情况和完成状态。并且通过自我对比,可获知该项目的薄弱环节,即加权前得分较低的指标;而对于多个项目而言,通过综合得分的对比,可知各个项目所处的相应等级,判断该项目的有效性如何,并通过各一级指标和二级指标对比,可得知项目间的差距和具体问题所在。
2 项目等级评价法在重大专项项目中的应用
从2011年中央财政首次设立国家重大科学仪器设备开发专项项目至今,湖北省已承担了11项此类项目,笔者长期跟踪和监理这11个项目,并运用等级评价法对同期立项项目进行比较分析。在此,笔者选择中央财政在2012年给予湖北省立项的3个项目为例,阐释如何运用等级评价法对其进行有效的监理和评价,发现各个项目的问题和不足,并提出改进建议。
2.1 确定各二级指标
我们已知项目等级评价法包含4个一级指标:项目目标、项目规划、项目管理、项目效果。根据国家重大科学仪器设备开发专项的性质和特点,并参考有关专家的意见建议,笔者将每个一级指标下面设置了3~4个二级指标。
2.1.1 项目目标
该指标主要考核项目设计是否合理清晰,目标是否明确,是否能够经受住检验。因此,笔者将其二级指标分为3项:项目设计合理清晰(30分);项目目标明确(30分);项目成果具有良好的经济效益和社会效益(40分)。
2.1.2 项目规划
该指标主要考核项目承担单位是否就实施项目制定了合理的年度目标和长期目标。考虑到重大专项项目采取的是一家单位牵头、多家单位联合承担的合作模式,故笔者将其二级指标分为4项:项目牵头单位实施制定了合理的年度计划(25分);项目牵头单位实施制定了合理的长期计划(25分);各子任务单位实施制定了合理的年度计划(25分);各子任务单位实施制定了合理的年度计划(25分)。
2.1.3 项目管理
该指标主要考核项目承担者对项目的管理情况,包括管理体系、财务状况、查漏补缺等工作,故笔者将其二级指标分为3项:项目有规范的管理体系(30分);项目财务状况运行良好(40分);项目已对专家的意见建议作出调整(30分)。
2.1.4 项目效果
该指标主要考核项目的最终应用效果。考虑到重大专项项目的最终目的在于满足仪器应用单位的实际需求,并能够实现产业化,故笔者将其二级指标分为3项:项目达到预期效果(30分);项目的完成满足应用单位的实际需求(35分);项目可运用于实际生产、满足产业化的要求(35分)。
2.2 专家定量打分
在重大专项项目的监理和评价过程中,由相关技术专家和财务专家把关,听取项目承担单位汇报项目进展情况,查看与项目有关的实验场地、实验仪器等硬件条件,之后深入考察各子任务承担单位的工作情况及任务完成情况,查阅相关财务资料、管理档案等,最终形成项目整体监理意见,并给予打分评价。以中央财政在2012年给予湖北省立项的3个项目为例(分别用项目A、项目B、项目C表示),在某次监理中专家打分情况如表1所示。
2.3 加权得分并确定等级
将各一级指标下的二级指标得分相加,即得到该一级指标的最后得分,再根据权重按公式计算出该项目的综合得分,并得到其对应的等级如表2所示。
2.4 结果分析及评价
通过最终的综合得分及评价等级可知,三个项目总体上都较好地完成了本监理期的计划任务,其中项目A为“有效”,项目B、项目C为“基本有效”。重点在于对比三者各自的一级指标、二级指标得分情况。
2.4.1 项目目标对比
对比三者的“项目目标”得分,并无明显差异,且得分都较高,各二级指标的得分也较为接近。说明三者的项目设计都比较合理,目标比较明确,可以预期有良好的经济效益和社会效益。
2.4.2 项目规划对比
对比三者的“项目规划”得分,项目C得分最高,而A、B的得分都较低。再参考二级指标及专家文字意见可知,原因在于项目C的牵头单位和子任务单位的任务完成情况都很良好,年度计划和长期计划非常合理,保证了项目任务的顺利进行;而项目A、B的项目任务进度都有不同程度的滞后,未按计划全部完成。
2.4.3 项目管理对比
对比三者的“项目管理”得分,项目A得分最高,其次为项目B,得分最低者为项目C。再对比三者的二级指标可知,三者的差距主要体现在财务状况一栏。原因在于专家在监理过程中发现,项目B、C的财务状况都存在一定的问题,尤其是项目C,财务问题比较突出,项目资金未实现单独核算,账面较为混乱。
2.4.4 项目效果对比
对比三者的“项目效果”得分,项目A得分最高,其次为项目C,得分最低者为项目B。再参考二级指标可知,项目B的3个二级指标得分均偏低,原因在于其任务滞后较多,导致暂无法完全考证其研究成果是否达到预期效果,也无法考核是否可满足应用单位的实际需求。
2.5 建议及对策
通过等级评价法,对比三个重大专项项目的综合得分、一级指标、二级指标,就不难发现三者之间的差距,及各自存在的具体问题。针对项目A,项目承担单位应加快任务执行进度,完善在应用方面的成果评估,加大实验数据量,不断完善产品性能;针对项目B,项目承担单位同样应加快任务执行进度,并加快仪器的成型及现场示范工作,以考核是否可满足应用单位的实际需求,达到产业化的要求,同时项目经费的使用应进一步规范;而项目C的任务完成情况良好,但财务问题较为突出,故项目承担单位应针对专家提出的财务问题进行严肃整改,严格执行国家针对重大专项项目发布的相关文件精神。
3 存在的问题及思考
项目等级评价法已在各类项目评价和绩效管理中得到广泛的应用,包括政府直接支出项目、竞争性补助项目、固定/按公式补助项目、法定项目、购买资本和服务性资产的项目、信贷项目、研发项目等。但它并非适用于所有类型的项目评价和绩效管理,并且在实际应用中应根据项目类别、项目性质加以改善和贯通。以重大专项项目为例,运用等级评价法应注意以下几个问题:
3.1 定量和定性相结合的问题
通过专家对各个项目的定量打分,可知该项目的执行情况及所处的等级。但这未必能完全体现出该项目存在的风险因素。如案例中的项目C,在任务进度方面完成良好,但财务问题很突出。仅仅从项目等级评价法的打分表中,不能完全体现出该问题的严重性和紧迫性,因此在实际操作中,应预留专家文字意见部分。在形成最终评价报告的时候,应结合项目的得分情况及专家文字意见,综合评价该项目各个方面的进展情况和完成状态。
3.2 专家标准不一致问题
由于参与每个项目评价的专家不同,而专家与专家之间的考核天平和评分标准又略有差别,故可能存在同一级别的项目综合得分差距较大的情况,或者不同级别的项目综合得分较为接近的情况。这种天然差别,虽然不足以影响最终对项目的判断和评价,但在实际操作中,应预先向所有专家统一评价指标和评分标准,同时参考专家的文字意见,尽量使这种差别最小化,从而达到科学性、严谨性的最大化。
(责任编辑 梁 工)