首页 理论教育 慈善活动评估方法和实践

慈善活动评估方法和实践

时间:2023-06-08 理论教育 版权反馈
【摘要】:基金会和机构需要采取切实措施,将重要利益相关方纳入评估的设计、实施和学习中。常见的慈善项目评估工作包括过程评估与成果评估。如果要证明预期的成果完全是慈善活动造成的,则需要使用随机干预实验的影响评估。1.第一阶段:需求分析鉴别评估的利益相关方。

慈善活动评估方法和实践

作为捐赠方,我们需要定期查看各个项目的进展,以确保我们的慈善战略体现在项目中且与时俱进,确保慈善活动按预期前进。这意味着既要对自身的工作整体进行评估,也要对具体项目进行评估。

詹姆斯·欧文基金会(The James Irvine Foundation)
自评问题清单

我们项目领域环境背景如何?(外部指标、新研究成果、同伴基金会的资助。)

我们有哪些进步?(项目进步指标和评估成果。)

我们的项目有哪些经验可用于改进方法?(不断改善与细化。)

基金会如何在领域中发挥领导力?(保持谦逊,通过可靠伙伴扩展我们的影响。)

重要利益相关方如何看待我们?如何了解?(合作伙伴认知报告、网站用户调查。)

我们在财务健康和机构效率方面的表现如何?(运营支出比例、理事会和员工多元化、投资绩效。)

洛克菲勒基金会的评估理念

1.扩大评估中重要利益相关方的范围。我们的最终受益人群的声音需要被听到、被尊重和被理解认同,唯此方能有效评估真正的成功。基金会和机构需要采取切实措施,将重要利益相关方纳入评估的设计、实施和学习中。

2.将评估知识视为公益进行广泛分享。与伙伴和相关方共同探讨哪些能被视为全球公益。不仅限于分享给理事会和项目组,也要广泛与受资助方、合作方和同伴分享。

3.评估目标不仅限于单项资助或项目,应扩展到投资组合、政策变化、新资助机制和相关途径的战略评估,以了解在不同环境中可能产生的效果。

4.投资于:开发应用创新的评估监控方法和工具,以反映应对复杂问题的跨学科的机制措施;网络工作有效性和政策改变的评估方法;使用新技术使利益相关方能提供即时数据反馈。

常见的慈善项目评估工作包括过程评估与成果评估。

简单的过程评估是以项目的监测数据为基础,评估项目是否按计划的内容、进度和预算开展活动。过程评估可以说明是否完成了要做的事,但不能说明是否实现了要产生的改变和影响。如果配合质性研究方法,过程评估也可以对项目进行优化和改善。

成果评估是根据项目设计的目标成果影响来评价项目是否有效,如果项目在设计之初没有清晰的目标,则难以判断成果的质量。成果评估可以说明开展慈善活动后是否出现了预期的成果。如果要证明预期的成果完全是慈善活动造成的,则需要使用随机干预实验的影响评估。影响评估成本高昂,通常用于国家层面的政策试点。

在选择评估方法之前,至少需要思考以下问题:

1.希望通过这次评估获得哪些提升和学习?

2.这次评估需要收集哪些信息?

3.谁最适合负责收集信息并进行分析?

4.访谈、焦点小组、问卷调查,哪种方法更适用?

5.评估结果的主要目标读者有哪几类?

6.以何种形式对评估结果进行不同程度的分享和传播?

常用评估框架

1.经济合作发展组织发展援助委员会(OECD-DAC)评估标准(6)

OECE-DAC的评估标准包括5个方面:相关性、效果、效率、影响、可持续性。

相关性,衡量项目活动在什么程度上符合目标群体和相关方的需求。需要回答的问题包括,这个项目的目标是否合理、是否成立?项目设计的活动与产出是否与要达到的目的及最终目标一致?

效果,衡量项目活动在什么程度上达成了目标,也就是要回答项目是否完成了预计的活动和产出。具体到我们的项目,就是是否完成了计划的培训,是否实现了培训促就业的目的,完成或没完成受到哪些因素影响。

效率,项目的投入产出是否采取了最低成本的方式,在所要求的时间内,来实现同样质量的产出?是否通过管理监测机制来保障项目质量?

影响,衡量项目直接或间接造成的改变,这可能是计划内的,也可能是计划外的。从经济、社会地位、环境等方面考虑受益人的变化。

可持续性,指项目的成果和影响是否会随着项目结束或资助停止而消退,受哪些因素影响。

2.CIPP评估模型(Context, Input, Process, Product)(7)

CIPP评估模型由四项评估活动的首字母组成:①背景评估(Context evaluation);②输入评估(Input evaluation);③过程评估(Process evaluation);④成果评估(Product evaluation),简称CIPP评估模型。这四种评估为决策的不同方面提供信息,所以,CIPP模型亦称决策导向型评估模型。CIPP评估模型为项目、工程、职员、产品、协会和系统等的评估提供了较全面的指导,尤其是那些准备长期开展并希望获得可持续性改进的项目。

背景评估的内容界定为:了解相关环境、诊断特殊问题、分析培训需求、确定培训需求、鉴别培训机会、制定培训目标等。其中确定培训需求和设定培训目标是主要任务。

输入评估包含的事项有:收集培训资源信息、评估培训资源、确定如何有效使用现有资源才能达到培训目标、确定项目规划和设计的总体策略是否需要外部资源的协助。

过程评估的目的是为那些负责实施培训项目的人们提供信息反馈,以及时地、不断地修正或改进培训项目的执行过程。过程评估主要通过以下方式得以实现:洞察培训执行进程中导致失败的潜在原因,提出排除潜在失败原因的方案;分析培训执行进程中导致失败的不利因素,提出克服不利因素的方法;分析并说明培训执行中实际发生的事情和状况;分析并判断它们与目标之间的距离;坚持在培训执行过程中提供有关既定决策和新的决策等。

成果评估的主要任务是对培训活动所达到的目标进行衡量和解释,其中包括对所达到的预定目标的衡量和解释。特别需要认定的是,成果评估并不限于培训结束以后,它既可以在培训以后进行,也可以在培训之中进行。

1.第一阶段:需求分析

(1)鉴别评估的利益相关方。谁是利益相关方?他的角色是什么?

利益相关方可以是:受益群体、捐赠人、资助机构、执行机构、评估方、专家、政府、公众。

角色可以是:发起评估、评估相关决策、评估报告读者、评估调查对象、对评估结果进行评审。

(2)资源梳理。评估需要什么资源?如何获取资源?

资源需求:成本预算、资金、时间、相关项目经验、专家顾问。(www.xing528.com)

获取途径:资助、政府购买、工作网络。

(3)评估目的。评估结果使用方式有哪些?评估本身的影响是什么?如何看待评估中的伦理

评估结果使用方式:合规审查、项目发展的决策辅助、基础研究、倡导。

评估过程:加强利益相关方的联系,提供多元尤其弱势群体发声渠道。

(4)文件管理。评估中的职责与权利是什么?评估工作如何进行?

责权划分:评估建议书、评估协议、合作机制备忘录

工作内容:评估工作计划、评估指标框架。

2.第二阶段:评估

(1)确定评估内容。项目是什么?范围是什么?如何确定?

项目描述:项目模式、因果链、项目逻辑框架/变革理论、项目实施、项目变更。

项目范围:项目活动、项目产出、项目成果。

确定方式:项目报告、项目档案、访谈项目发起方、访谈执行方、访谈受益群体。

(2)建立评估指标体系。项目的针对性指标是什么?如何确定?

针对性指标:在项目评估通用框架的基础上,根据具体项目设定。

确定方式:项目报告、项目档案、访谈、文献检阅。

(3)数据收集。如何收集数据?如何管理数据?

数据收集:项目档案、抽样问卷、电话访谈、实地访问、小组座谈。

数据管理:数据编码、数据备份、数据安全。

(4)数据使用。如何用数据说明事实?如何用数据说明观点?

事实:描述统计、图表辅助、访谈记录。

观点:比较法、因素分析、元分析。

3.第三阶段:报告

(1)报告撰写。报告的格式是什么?

格式:固定格式、评估发起方指定。

(2)报告评审与修改。谁应该参与报告修改?需要做什么工作?

参与者:同事、被评估方、专家、其他利益相关方。

工作:同事审阅、被评估方反馈、专家咨询、补充材料。

(3)报告发布。如何发布报告?如何确保报告可及性?

发布:研讨会、发布会。

可及性:印刷、出版、摘要单页、在线下载。

总的来说,要真实全面了解家族慈善项目的社会影响力,专业的评估不可或缺。组织对慈善项目的评估,以下三个要点必须考量:

首先,清楚地了解和判断所涉及的合作伙伴目前所处的发展阶段、现有能力以及可以协调或撬动的具体资源。尽量利用和提升现有监测体系,将评估带来的额外负担降至最低。

其次,让利益相关方都可以有效地参与到评估过程中,保障家族慈善资助方、受助机构、终端受益人群等各方都可以从评估中受益。

最后,由于评估费用可能相当昂贵,在制定评估计划时,必须解决两个问题:一是评估什么?是单独的一项资助,还是一组拨给类似项目的资助,或是一组目标相似的资助?是家族慈善的战略层面,还是慈善项目的运营层面?二是评估适用什么样的强度?包括需要采用标准的严格程度、评估所需要的监管力度、选择内部专业人员还是聘请第三方专业机构开展评估。

(1) Grantmakers for Effective Organizations, Management Assistance Group.Systems Grantmaking Resource Guide[EB/OL].2016.

(2) 亚洲开发银行.制订设计与监测框架指南[M].2006-03.

(3) 引自笔者2017年对招商局慈善基金会副秘书长李海先生的访谈。

(4) Liza Culick, Kristen Godard, Natasha Terk. The Due Diligence Tool for use in pre-grant assessment[Z].Grantmakers for Effective Organizations, 2004-12.

(5) 弗雷德·赛特博格,柯尔邦·S.威尔伯.基金资助工作基础指导大全[M].益公益交流中心.北京:商务印书馆,2018.

(6) 编译自DAC CRITERIA FOR EVALUATIONG DEVELOPMENT ASSISTANCE(《评估发展援助组织DAC准则》)。

(7) 更多关于CIPP评估模型的信息详见https://wiki.mbalib.com/zh-tw/CIPP%E8%AF%84%E4%BC%B0%E6%A8%A1%E5%9E%8B。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈