首页 理论教育 评价指标体系初设与筛选方案

评价指标体系初设与筛选方案

时间:2023-05-24 理论教育 版权反馈
【摘要】:③相关性分析,是用于检验子指标与评价目标或子指标之间的密切程度的分析方法。运用到评价指标体系的筛选时,可以根据统计数据对大量指标进行分类,得到不同的类,进而确定每一类中富有代表性的指标。

评价指标体系初设与筛选方案

1.评价指标初设

社会企业双重绩效指标体系的构建是社会企业适应市场化竞争、发挥解决社会问题功能、提高自身管理和建设能力的关键。基于上文对平衡计分卡原理、社会企业特征、内涵的阐述,综合5.2节的机理分析研究,本研究主要从三个方面对绩效的评价指标进行定位和搜集。

第一,将财务维度修正成双重底线回报维度。因为本节的评价客体是以社会使命为最终目标,以市场为导向来解决社会问题的社会企业,在运营过程中既通过生产产品或服务来创造经济价值,又通过解决社会问题来创造社会价值。因此,若沿用传统平衡计分卡的财务维度来作为最终绩效评价结果,会使商业运作成为社会企业的主体与核心,将背离社会企业的使命和愿景。因此,本节立足于社会企业创造经济和社会价值的双重属性,结合平衡计分卡的绩效评价优势,借鉴文献研究,构建出双重底线回报维度指标。

第二,Dees给出的“社会企业光谱”概念意味着社会企业既包括非营利组织的特性,又具有传统纯营利企业的特性。基于此,本节借鉴了前人关于社会企业、非营利组织、普通商业企业的研究成果和重要文献,结合前面的理论基础分析,对相关的评价指标进行搜集、汇总、整理,删除重复和不合题意的指标。

第三,社会企业双重绩效的评价是基于社会企业平衡计分卡进行评价指标的选择,主要考虑的是学习与成长、内部业务流程、顾客和双重底线回报四个维度的评价指标。对于一些外部因素如政策法规经济环境、社会文化等则不在考虑范围,这是因为考虑到这些外部影响因素是社会企业所无法掌控的,并且对社会企业的绩效影响不会产生大程度的差异性,因此在社会企业双重绩效评价指标体系的构建时,主要从社会企业平衡计分卡的四个维度出发,这样也便于社会企业进行自身的绩效管理。

表5-3 社会企业双重绩效评价初设指标

综上三个方面对绩效的评价指标进行定位和搜集,本节从研究目的和思路出发,在广泛借鉴前辈的研究成果的基础上,以修正后的社会企业平衡计分卡的四个维度为基础,初步构建了社会企业双重绩效评价指标体系,拟定了学习与成长、内部业务流程、顾客和双重底线回报在内的4个一级指标,并在此基础上衍生初步构建了40个二级指标,见表5-3。

受研究者的知识储备、时间等限制,以上搜集、整理出来的指标体系难免存在指标遗漏,指标体系的系统性和全面性难以保证。基于此,本书采用了专家咨询法对指标体系进行修正与补充。

专家咨询法是指向相关领域的专家发函,征求意见,修正和补充指标库的一种分析方法。这种方法以前期的初设指标体系为基础,研究者需要把初设的评价指标汇总到一张调查表上,现场或邮件的形式发与各位专家进行评价,将各位专家对各个指标的意见与态度进行统计与分析,同时将统计结果反馈给专家。如此循环直至专家意见趋中。调查专家的选择也需要遵循以下两条原则:第一,专家对社会企业及其双重属性比较熟悉。第二,专家在社会企业领域至少拥有三年或三年以上的工作或研究经验,能够根据自己多年丰富的实践经验,从理性思考的角度提出合理建议。

本书的专家咨询法采取线上和线下相结合的方式进行,专家主要由两个部分组成。一部分是选取了3位在社会企业研究领域的资深专家,他们来自于高校或研究所,在社会创业和社会企业研究领域均有深入探索,并且非常关注国内外学术界在这一领域的动态;另一部分是邀请到了9位社会企业领域的工作者,他们在社会企业领域至少工作三年以上,在实践工作中积累了丰富的工作经验。专家的组成背景见表5-4。

表5-4 专家背景概况

本书的专家咨询一共进行了两轮。统计分析了专家对于四个维度评价指标的有效意见,一起剔除了1个二级指标(L8社会企业文化的建设),补充了3个二级指标(P12重点工作完成情况,L8员工的培训率;L9员工人数)。基本上比较全面地构成了社会企业双重绩效评价指标库。此指标库一共包含了4个一级指标和42个二级指标,具体情况见表5-5。

表5-5 社会企业双重绩效评价的指标库

(续表)

2.评价指标筛选

社会企业双重绩效评价指标的设计并不是越多越好,关键在于实用性,指标设计过多,不但会增加问卷的复杂程度,使评价流于形式,还会收录一些无关紧要的指标降低问卷的科学性。社会企业双重绩效的评价指标体系是依据社会企业相关的研究成果和采用专家咨询的方式确定的,设计过程中尽量做到保证评价指标体系的完整性和系统性,这样,难免会收录一些鉴别力低的指标以及与评价目标不显著相关的指标。因此,需要采取合理的评价指标筛选方法对社会企业双重绩效评价的指标库进行筛选,剔除鉴别力低和相关性不高的指标,从而保证指标的实用性和代表性。

(1)评价指标的筛选方法

指标筛选的方法很多,主要有:①项目分析法,是求出每一个评价指标的临界比率(CR值)。具体的操作是将调查者对每一个评价指标的得分按照高低排好序,取前面25%~33%的样本组成高分组,取后面25%~33%的样本组成低分组,检验二组均值的显著性差异。一般以(>0.05或者t<3.5为没有显著差异的临界点,CR值在这个范围以外的指标代表鉴别力高的指标。②鉴别力分析法,是根据评价指标统计数据的差异程度来获取信息量丰富、对评价目标作用大的指标。一般情况是采用变异系数中的标准差系数来度量,变异系数越大,说明该指标的鉴别作用越大,反之亦然。③相关性分析,是用于检验子指标与评价目标或子指标之间的密切程度的分析方法。对于子指标与评价目标之间的相关性分析,是通过剔除相关系数低于临界值的指标来提高子指标对评价目标的显著性影响;对于子指标之间的相关性分析,则是剔除相关系数高于临界值的指标来降低信息重复的干扰。④聚类分析法,是研究对样本或变量的聚类。运用到评价指标体系的筛选时,可以根据统计数据对大量指标进行分类,得到不同的类,进而确定每一类中富有代表性的指标。聚类分析的方法很多,如最长距离法、类评价法、重心法等。⑤因子分析法,是一种用来分析隐藏在表面现象背后的因子作用的一类统计模型。因子分析研究相关阵或协方差阵的内部依赖关系,将多个变量综合为少数几个因子,以再现原始指标和因子之间的相关关系,多用于多元统计分析方法中的降维。

(2)评价指标的筛选过程

本节根据初设的42个评价指标设计了初始问卷,问卷运用5点式李克特量表,数字1、2、3、4、5分别代表很不重要、不太重要、一般重要、比较重要以及非常重要五个级别,让被调查对象根据自己的实际工作经验,对社会企业双重绩效的每个评价指标进行重要度评分。

表5-6 被调查对象基本情况

调查问卷的发放采取了多种发放方式,如现场发放式调查,这里要非常感谢导师为学生提供了一个学习与实践的平台,让我们有机会参加由英国文化协会发起并举办的大型全球项目——社会企业家技能项目,我们主要调研的是杭州班与重庆班的学员;QQ聊天式调查,通过加入中国社会企业家群进行简短沟通并发放问卷;邮件形式调查,主要在网上搜索相关领域的高校研究专家、相关社会企业网站、社会企业研究中心等获得联系方式进行邮件沟通。被调查对象从事的是社会企业教育文化、扶贫开发、环境保护医疗卫生、老人和残障、妇女儿童、流动人口等方面的工作。被调查对象主要由两部分组成,一是在社会创业管理、社会企业研究方面的资深专家及培训师;二是在社会企业工作的人士,他们在这方面具有一定的实践经验和独到见解。问卷调查从发放到回收经历了一个多月的时间,一共发放了300份问卷,回收到了151份,其中有效问卷129份,回收率为50.3%,有效率为43%。被调查对象的基本情况可见表5-6。

1)指标体系鉴别力分析

评价指标的鉴别力是指指标区分评价目标情况差异的能力。社会企业双重绩效评价指标体系包含多个层次,各个指标包含的信息量不同,对评价目标特征差异的反映程度各不相同,而构建评价指标体系的目的则在于计算和对比各社会企业在双重绩效方面的成绩,分析存在的问题,因此,需要进行评价指标的鉴别力分析。鉴别力分析主要是采用变异系数来计算,变异系数越大,表明指标数值在各个被调查对象之间的差异程度越明显,指标的重要程度越高,鉴别力越强;变异系数越小,表明指标数值不能明显反映出各个被调查对象之间的差异性,也就失去了指标本身具有的衡量意义。变异系数也叫离散系数。假设有m个被调查对象,n个评价指标,变异系数Vj的计算公式见式(5-1)、(5-2)及(5-3)。

其中,Sj表示样本标准差,表示样本均值,xij表示第i个被调查对象对j个评价指标的评分。

根据调查问卷得来的数据,运用上述的鉴别力分析方法,我们使用SPSS17.0统计分析软件分别求出了社会企业双重绩效的42个评价指标的均值与标准差值,再根据式(5-1)求出变异系数,具体数值见表5-7。

本书参照学者们的研究规定,以0.2作为变异系数的临界值,保留变异系数值不低于0.2的指标。由表5-7罗列的42个变异系数可知,F10、C4、C5、C9、P4、P8、P9、L1、L6的变异系数低于0.2,故予以删除。经过此轮筛选,剔除了指标库中鉴别力较低的9个指标,提高了指标库的代表性和准确度。保留的33个指标将进一步筛选。

表5-7 初设指标的变异系数

2)相关性检验

经过鉴别力分析剔除了重要性程度较低、鉴别能力不高的指标后,指标体系得到了简化,但是指标还存在高度相关性,影响到了社会企业双重绩效评价的严谨性与科学性,本书采用相关性分析来解决指标的相关性问题,以此消除重复信息对评价结果的影响并精简指标。本书运用统计分析软件SPSS17.0对保留的33个指标进行相关性分析,仍然对129个样本的调查数据作相关性统计分析。主要分为两个步骤:第一步是计算二级指标与一级指标均值之间的相关性系数,保留相关系数高于某临界值的指标,它们与一级指标的相关性大,对一级指标的影响是显著的;剔除相关系数低于某临界值的指标,它们与一级指标的相关性小,对一级指标的影响不显著。第二步是计算二级指标之间的相关性系数,剔除相关系数高于某临界值的指标,以此来消除评价信息的重复与交叉。

二级指标与一级指标均值的相关性系数见表5-8。

二级指标与一级指标均值的相关性判定以0.5作为临界值,若相关性系数大于0.5表示二级指标与一级指标的相关性较高,保留该二级指标,否则删除。根据表5-8得出的各二级指标与对应一级指标均值的相关性系数,不难发现指标F9(0.450)、F11(0.424)、P1(0.492)与双重底线回报维度均值、双重底线回报维度均值、内部业务流程维度均值的相关系数均低于0.5,这3个指标与各自的一级指标的相关性系数均在0.5以下,表示不显著相关,因此删除这3个指标。剩余的30个指标与对应一级指标的相关性系数大于0.5,在此予以保留,表明了它们的针对性较强。

表5-8 二级指标与一级指标均值的相关性系数

(续表)

注:**表示在0.01水平(双侧)上显著相关。 (www.xing528.com)

上一步完成的是二级指标与一级指标均值的相关性分析,仅仅是检验了二级指标与对应一级指标的相关性,无法消除二级指标之间的相关性影响。而指标之间的相关性过大会出现评价信息的重复与交叉,指标数量过多,一来增加了问卷调查的难度与工作量,二来也降低了评价指标体系的严谨性与科学性。基于此,本书深入一步对各二级指标之间进行相关性分析,剔除相关性系数较大的指标,从而精简指标提高评价指标体系的严谨性与科学性。运用SPSS17.0统计分析软件进行分析,结果见表5-9。

表5-9 相关系数大于0.7的指标对

二级指标之间进行相关性分析之后,我们参照以往学者的研究规定,取0.7作为临界值,若相关性系数大于0.7,则表示两个指标之间的相关性高,存在信息的重复与交叉,我们按照两个指标的变异系数来删除变异系数较低的指标。由表5-9可知,存在三个指标对(F1,F2)、(C1,C2)、(P2,P3)的相关性系数大于0.7,我们保留变异系数较大的F1、C2、P3

经过指标体系的鉴别力分析与相关性分析,初设指标体系经过优化,最终得到了四个维度下的27个指标,它们构成了社会企业双重绩效评价指标体系,如表5-10表示。此时的指标体系基本上能避免重复与遗漏,较全面、准确地反映社会企业双重绩效的内涵、影响要素。

通过表5-10,我们再来分析一下社会企业双重绩效评价指标体系与普通商业企业绩效评价指标体系的区别所在,主要有两点。第一,表5-10筛选出来的指标体系主要从社会企业兼具经济与社会双重属性入手,并借鉴了国外学者Bull(2007)的观点,因此将用于评价普通商业企业的平衡计分卡框架中的财务维度修改成双重底线回报维度;第二,目前,社会企业整体发展还处于初级阶段,无法做到像大部分商业企业那样对外披露企业的相关信息与数据,因此,部分定量指标无法获取到数据,同时Arrow曾指出:“对于萌芽阶段的事物,应该避免不合时宜的精确性。”基于此,也将一些定量指标进行了定性修正。

表5-10 社会企业双重绩效评价筛选后的指标

(续表)

3.评价指标的诠释

表5-10中各个指标的基本含义诠释如下:

(1)双重底线回报维度

F1资金的利用效率:无论是普通商业企业还是社会企业,资金都是它们的血液,是保持生存与发展的前提。社会企业的资金利用效率,是指社会企业在日常生产经营或项目运作过程中,资金利用的有效性与充分性。

F2成本费用利润率:此指标衡量的是社会企业利用资金创造利润的效率,考察了社会企业的投入与产出水平,计算公式是成本费用利润率=(利润总额/成本费用总额)×100%。该指标反映了社会企业的投入产出水平,值越大,表明社会企业获利水平高,其经济效益越好。

F3资金的自给能力:资金的自给能力是指社会企业在不依赖外界捐助的情况下,自我创收维持生存与发展的能力。社会企业在企业目标、价值创造方面都表现出兼具普通商业企业与传统非营利组织的混合性特征,它的资金来源并不唯一,除主要来自于生产经营活动中的收益外,社会企业同样有社会捐助的支持。但是捐助这种外来资金属于变化的且非可控的,社会企业可持续发展的强劲动力还是来自于自身的造血功能。

F4主营业务利润率:是指社会企业在一定时期,主营业务利润和主营业务收入净额之比,计算式为主营业务利润率=(主营业务利润/主营业务收入)×100%。指标说明社会企业每单位主营业务收入所带来的主营业务利润的多少,反映了社会企业的主营业务的获利能力,是评价其经济绩效的主要指标。

F5就业机会的创造:社会企业活跃于教育文化、扶贫开发、环境保护、医疗卫生、老人和残障、妇女儿童、流动人口等领域,就业机会的创造是指社会企业积极为这些领域中低学历、体力劳动、残疾等难以就业的弱势群体创造就业岗位,使受影响的人参与到社会企业的市场运作或社会贡献中。

F6促进员工发展:是指社会企业提供职业培训、员工绩效考核、搭建竞争平台等途径来鼓励社会企业员工提高社会竞争力,积极融入社会,实现更进一步的个人发展,体现了社会企业对员工发展的重视程度。

F7社会认可度:是指社会公众对社会企业通过商业模式营利来解决社会问题,实现社会目标这一社会创新方式的认可度。

F8社会资本的创造:社会资本是指社会企业与普通商业企业、非营利组织、政府、顾客、供应商等社会主体,以社会网络、规范、社会道德等形式形成一种紧密关系,这种关系是多维度的,是一种镶嵌在社会结构之中,通过对此关系投资,能够提供社会企业所需的各种资源,如共同价值观、信任、声望等。甚至可通过这种社会资本去寻求更多的物质、人力、金融资本,实现更大范围良性循环,同时也会影响企业家精神(Chung & Gibbons,1997)。一个由信任和共同价值观形成的自立自强的社会共同体,能创造巨大的社会效益(查尔斯·里德比特,2006)。

(2)顾客维度

C1服务及时性:是指社会企业提供的产品或服务是否能及时满足顾客的需求。

C2顾客需求的满足程度:是指社会企业提供的产品或服务在多大程度上满足了顾客的需要及愿望。

C3顾客增长率:是指新顾客数量占社会企业总客户数量的比例。计算式为顾客增长率=(新顾客数量/顾客总数)×100%。新顾客的吸引能提高社会企业产品或服务的市场份额。

C4顾客宣传与推广:是指顾客在体验了社会企业提供的产品或服务之后,根据自己的体验心得将产品或服务宣传或推广给其他人群。

C5顾客保持率:是指重复购买社会企业提供的产品或服务的顾客的比例。计算式为顾客保持率=(保持或维持的老顾客数量/顾客总数)×100%。顾客保持率也是社会企业保持市场份额和利润的核心。

(3)内部业务流程维度

P1工作流程的效率:是指社会企业在某一项目开展时,各部门内部以及各部门之间在各个环节、步骤、程序上的取得的效果与所用时间、精力、金钱的比值。

P2信息技术的利用:是指管理者为了实现社会企业的信息和资源进行系统性有效管理,而运用相关网络技术手段来管理和处理信息,以此来提高内部业务流程的效率。

P3信息的规范化:是指社会企业将不同部门、不同时期的所有信息按照内部规范进行整理后进行记录或存档,便于实行统一、有效地管理。

P4技术的创新:是指社会企业进行产品、内部生产过程或服务方式的技术改进来实现创新的活动。

P5管理制度的创新:是指社会企业的生产经营活动的人力资源管理制度、信息管理制度、决策制度等进行灵活性变动,从根本是对人的行为进行协调和规范,提升社会企业社会创新的能力。

P6每个产品(服务)所需的平均时间:是指社会企业平均生产一单位产品或服务而消耗的时间,也是总时间与总产量的比值。

P7重点工作完成情况:对于处于初创期、成长期、成熟期或衰退期四个不同发展阶段的社会企业而言,他们的绩效评价的重点工作是不相同的。常见的重点工作有资源控制、资金筹集、市场开发、品牌宣传等。重点工作的完成情况是指不同阶段社会企业核心业务在预期时间内完成的程度与质量。

(4)学习与成长维度

L1社会企业精神的培育:社会企业在实现经济价值和社会价值的同时,需要塑造一种与社会企业使命和属性相适应的文化形象,而这种文件被阐释为“社会企业精神”。培育员工的社会企业精神,能帮助他们更具社会责任感地在市场经济中实现企业的社会使命。

L2员工薪水保障:员工向社会企业投入了劳动、精力和时间,他们的劳动所得理应得到合理的报酬。薪水保障制度能够增强员工的组织归属感

L3员工意见采纳率:员工作为社会企业的一份子,他们对所在岗位比较了解,也非常熟知岗位存在的问题,因此员工对社会企业管理等方面指出的合理意见对社会企业未来发展起着重要的作用。员工意见反馈正是员工的组织归属感与责任感的体现,是员工一种学习和成长的表现,员工意见采纳率越高,越能激发员工的责任意识

L4组织激励机制:社会企业的活力来自于员工学习和成长的积极性和创造性。根据马斯洛的需求层次理论,当员工基本的生理需求被满足外,会追求进一步的被尊重和实现自我的需要。组织制定合理的激励机制,能够培养员工学习与成长的热情和积极性,进而形成对社会企业的归属感和认同感。

L5培训经费的投入:是指社会企业对为提高员工工作技能、实现员工发展而对其进行有针对性的技能培训方面投入的资金情况。

L6员工的培训率:是指在一个周期内,社会企业内部参加培训的员工总数占社会企业总人数的比例。

L7员工人数:是指在社会企业机构中,以全职身份工作的所有管理人员、普通员工等的总人数。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈