研制推广ExPerO模型，评估高职学生学习成果

为了推动《哥本哈根宣言》的落地实施，除《参照框架》外，欧盟也在积极探索更切合职业教育特点、能准确反映职业教育质量成效的评估机制与方法。成果期望与感知（Expectation and Perception of Outcome,ExPerO）模型便是欧盟另一个已通过国际认证和实践验证，正在各成员国间推广的质量评估工具。相较于其他工具，ExPerO模型面向各职业教育实施机构，着眼于院校内部教育质量控制，以学生的学习成果质量为考察重点，在评估的理论基础、指标框架、实施方式等方面，均进行了一些颇具创新性的探索并得到了相关方的高度认可。

（一）ExPerO模型的背景缘起

2006年11月，欧洲议会和理事会通过1720号决议，决定设立终身学习计划（Lifelong Learning Program，LLP）。作为欧盟在教育与培训领域的主要资助对象，LLP是一个综合性项目，致力于为欧洲各社会阶层的劳动者创造学习提升的机会，具体包括“四纵四横”共计八个计划。其中，纵向计划侧重于教育培训的不同阶段，分别是夸美纽斯学校（Comenius for schools）、伊拉斯谟高等教育（Erasmus for higher education）、达·芬奇职业教育（Leonardo da Vinci for vocational education and training）、格伦特维成人教育（Grundtvig for adult education）。横向计划旨在为纵向计划提供支撑以确保其取得最佳实施成效，主要聚焦于政策合作与创新、语言文字、信息与通信技术、成果传播与开发四个关键领域^[13]。达·芬奇职业教育计划作为LLP的一部分，其目标是通过帮助欧洲公民获取新技能、新知识和资格证书，培养可在欧盟跨国流动的技能型人才，提升欧洲劳动力大军的竞争力，使其得到不同国家劳动力市场的认可并促进职业教育的改革创新。该计划资助的范围广泛，涵盖了包括成人教育在内不同层次的职业教育，而且所有受到其资助的项目都涉及欧盟各国的跨国合作^[14]。

近年来，学习成果质量日渐成为欧盟职业教育领域关注的热点。但目前教育领域所使用的质量模型，如欧洲质量管理基金会（European Foundation for Quality Management，EFQM）的业务卓越模型、通用评估框架（Common Assessment Framework，CAF）、国际标准化组织（International Organization for Standardization，ISO）认证、服务质量（Service Quality，SERVQUAL）模型等，主要侧重于过程评价或者服务评价，而不是反映实际教育成效的产出评价；它们在考察教育教学诸要素的同时，忽略了对学习成果质量的检验。基于此，在欧盟LLP和达·芬奇职业教育计划的资助下，ExPerO项目于2008年10月正式启动并于2010年10月结束。ExPerO项目的初衷，是要在欧洲建立一个跨国界的、聚焦于职业教育学习成果质量评价的通用工具，以便对教育质量保障的共同原则与标准做出统一规定，促使职业教育机构合理组织教育过程，实现教学结果的最优化^[15]。项目期间，ExPerO项目团队先后在不同国家举行了六次国际研讨会，并将评估模型在部分职业院校进行了试点应用。目前，ExPerO模型已得到《哥本哈根宣言》框架下欧盟全体成员国的认可，并通过了国际权威认证机构——通用公证行（Societe Generale de Surveillance S.A.，SGS）的认证^[16]。

（二）ExPerO模型的理论基础

20世纪下半叶以来，全面质量管理开始在公司治理中大行其道并逐渐扩展至教育领域。作为欧盟关于职业教育质量保障的重要指导性文件之一，EQARFVET便是全面质量管理理论与方法在学校应用的典范。除此之外，EFQM和CAF的质量模型也属于全面质量管理的范畴，在教育领域的应用较为广泛。二者均包括“领导能力、人力资源、战略规划、合作关系、教育过程、人员绩效、用户成效、社会成效以及关键成效”九大类评估指标，只是各自所占权重不同。此外，二者均以追求卓越为导向，侧重考察学校的优势特色因素，并基于自我评估，以不同权重指标的累计得分来区分学校整体教育质量的优劣。

ISO认证体系是现代企业质量管理中的另一项重要工具，部分国家也曾尝试将其运用于教育领域。它与EFQM、CAF质量模型的共同点在于：三者均要求质量体系贯穿于质量形成的全过程，均采用PDCA质量环，即计划（Plan）、执行（Do）、检查（Check）、行动（Action），实施系统化管理；其最终目的均是提高产品质量，满足顾客需求，强调任何一个过程都是可以被不断改进、不断完善的。EFQM、CAF和ISO三个质量模型之间的主要区别在于：前两者致力于评估学校的整体表现，通过更具战略性的方式寻求改变现状，其作业通常仅限于一次；而后者主要致力于考察质量标准所要求的内部组织流程，是以标准为中心的。通过了ISO认证的学校也许会拥有与评估标准相一致的内部流程，但此类学校未必能称得上优秀。反过来看，经受了EFQM和CAF质量模型检验的学校也不一定能通得过ISO的认证。

SERVQUAL模型是诞生于服务行业的一种质量评价工具，其理论核心是“服务质量取决于用户所感知的与所期望的服务水平之间的差别程度，用户的期望是开展优质服务的先决条件，提供优质服务的关键就是要努力满足或超越用户的期望值”。基于这一前提假设，在测量服务质量时，SERVQUAL模型通常会将“期望”与“感知”进行比较^[17]。显然，它所遵循的是顾客取向策略，顾客满意度被当作组织成功的关键。在教育领域，SERVQUAL模型主要通过收集学生对教学过程和结果的反馈意见，从宏观层面来考察学校教育服务的质量水平^[18]。但是，该模型在教育领域的应用一直存有争议，因为学生所期望的服务并非都是学校完成教育教学任务时所应该提供的。这也是时至今日，许多教师仍对衍生于公司治理领域的质量模型，在学校教育质量管理中的应用缺乏认同的原因所在。

总之，从EFQM、CAF、ISO到SERVQUAL的质量模型，它们在教育领域的应用均是从学校的功能属性出发，侧重考察教育教学的组织过程，对学习成果缺乏明确而持续的关注^[19]。此外，以上模型多根植于公司治理领域，它们与学校教育所涉及的不同学科知识之间，缺乏交流互通的历史传统，加之彼此技术语言和路径方法的差异，导致它们与学校教育的环境特征和文化氛围一直未能深度融合。与以上质量工具的顾客取向不同，ExPerO模型所秉持的利益相关者取向更为贴近学校文化，依其理念，通过建立有效的沟通机制，学校利益相关者之间可以增进交流，就学校应该提供怎样的教育服务、雇主应当对学校教育抱有何种期望等议题达成共识。依其设计，即使利益相关者的理想预期与现实感知之间存在一定偏差，学校也可以加以甄别，视情况来决定是否需要以及如何对教育活动做出改进。

（三）ExPerO模型的基本框架、指标内涵与实施步骤

1.理论概述

ExPerO模型旨在通过对学校主要利益相关者在教学不同阶段反馈的信息进行系统比较和分析，评价学生学习成果的质量^[20]。其理论模型包含应然（should）和实然（is）两大区域，分别代表数据资料采集的不同阶段。其中，应然表示预期的理想状况，是利益相关者事前对学生应取得的学习成果或对学校教育应改进之处的期望；实然则表示学业结束后，利益相关者对学生学习成果的现实感知。在两个阶段的信息采集完成后，将应然阶段的理想期望与实然阶段的现实感知进行比较分析，吸收多元利益相关者参与，是ExPerO的基本特色。在该模型中，期望是指利益相关者基于自身立场，对学生学习成果的理想期待；感知则是利益相关者对学生学习成果的现实评价，是客观事物的主观意义^[21]。

学习成果的质量同利益相关者的期望密切相关。根据需要，ExPerO模型（见图6-3）将学校利益相关者分为四类：等。须指出，学生和学校领导层同时具有内部利益相关者的属性，只是为了突出其在不同评估阶段的作用而将其单独分类^[22]。由于办学定位、课程种类、管理方式以及所处地理区域不同，各院校利益相关者的构成群体及其影响力也必然有所差异。为此，ExPerO模型允许学校领导层自主确定各利益相关者在评估中所占的权重。

图6-3　ExPerO模型的理论框架^[23]

在实施方式上，ExPerO模型要求根据不同评估指标和利益相关者的特点，灵活采用多种方法来收集信息，如焦点小组、半结构化访谈、问卷调查、文献分析等。为配合评估实施，ExPerO模型还设计了一个专用的数据处理工具，它可通过定性和定量的方式，对各个阶段采集的信息资料进行自动加工处理，并以表格、图形、文档等形式直观呈现数据的处理结果，突出显示被评估院校的优势与不足，对学习成果质量做出评级，是ExPerO模型的必备工具。

2.指标内涵与评价方式

基于职业教育专家们的实践经验和研究成果，考量利益相关者们的诉求，本着客观性、可验证性、可操作性以及定性定量相结合的原则，ExPerO模型设定了使命愿景（Mission&Vision）、学习成果质量（Quality of the Results）、组织流程（Organization Processes）、能力质量（Quality of Competencies）、学习成果满意度（Satisfaction of the Results）、形象质量（Quality of Image）六大类评估指标^[24]。

（1）使命愿景

使命愿景指标与学校领导层密切相关，它们只存在于应然阶段。使命是学校对自身存在价值的描述，它包含教育教学的目标定位、所培养人才的能力规格等与利益相关者的期望和需求密切相关的信息。因此，在定义学校使命的同时，要确定利益相关者名单并对其重要程度做出认定。愿景是对学校发展目标和品牌形象的独特描述，是领导层对学校未来发展的规划设想。在该模型中，使命是对应然和实然阶段的学习成果质量进行评判比较的参照指标，愿景是对形象质量进行评价的参照指标。

（2）学习成果质量

欧洲职业教育发展中心认为，学习成果是学生完成学业后所具备的理论知识与实践能力，是学校教育活动成效的集中体现，它与教学过程、教职工素质以及社会经济环境等密切相关。据此，ExPerO模型将学习成果质量界定为：“学生通过学习所形成的完整能力体系，它包括知识、技能、专业行为以及适应市场需求的应变力等。”^[25]学习成果质量作为ExPerO模型的核心指标，具体由能力、辍学率、就业能力、未来需求适应力、学分五个要素构成，由于它们在学校教育中的重要程度不同，ExPerO模型允许对其赋予不同的分值权重。

学习成果质量指标存在于应然和实然两个阶段。首先，对其进行评价时，要确定访谈的利益相关者样本。根据学校类型的不同，访谈样本可涵盖在读学生、学生家庭代表、学生先前就读学校代表、潜在学生、公司代表、公司客户、贸易集团代表、行业协会代表、高校代表、欧盟代表等。其次，在数据采集的第一阶段（应然阶段，下同），组织外部利益相关者以学校使命为参照，反馈对学习成果的理想期望。再次，在数据采集的第二阶段（实然阶段，下同），组织同一批利益相关者反馈对学习成果的现实感知；若个别利益相关者无法接受现场访谈，可根据列出的详细考察指标，通过书面方式反馈信息。最后，评估小组将两个阶段的数据资料加以对比分析，以数值形式对“现实满足理想”的程度做出评价，通过数据处理工具，对学习成果质量的五要素分别评分并生成标有红、白、绿三种颜色的图表。其中：绿色代表在该指标上表现优秀；白色代表其表现平平；红色则代表其表现糟糕，评估小组必须分析原因并制定改进方案，使其在下次评估前达到正常水平。

（3）组织流程

组织流程仅存在于应然阶段，它指学校教育教学涉及的全部过程，包括：学年工作计划、教学大纲、教学方法、入学标准、教职工素质、人员职责描述、内外部沟通管理、学分管理、教学资源配置、师生工作量管理等。由于教学实施过程仅涉及学生和教职工，因此对组织流程的评价只面向内部利益相关者，通过焦点小组和访谈的方式，依据课程设置、日程表、师生工作量、财务绩效、人力资源、关键事件等微观指标进行。焦点小组和访谈的另一个目的，则在于发掘过去若干年内曾对学校发展产生重大影响的关键事件，以便学校参照，采取相应纠正、预防和改进措施。

（4）能力质量

在ExPerO模型中，能力是对知识、技能、行为方式等构成的综合素养的统称，它是人们谋求和从事适合自身工作的前提和保障^[26]。能力本是学习成果质量的要素之一，此处单独将其列为一级指标，体现出ExPerO模型对以能力为核心的职业教育特征的刻意凸显。与学习成果质量评价主要依据外部利益相关者不同，能力质量评价主要依据内部利益相关者和学生。由于学生的期望源于学校的人才培养定位与规格等教育许诺，对此项指标进行考察，第一阶段的任务是在学期初，收集描述课程教学目标的教学计划等正式文件，以此确定学校对应然能力质量的描述。第二阶段的任务是在学期末，内部利益相关者（教师）对每个学生的能力状况进行评价，学生则对自身能力的习得情况做出自我评价，据此确定实然的能力质量。最后，通过数据处理工具，将教师和学生对实然能力质量的评价结果与应然能力质量进行比较，同时，分别将教师和学生对实然能力质量的评价结果进行比较，从多维度判断人们对能力质量的期望与感知之间的差异度。

（5）学习成果满意度

学习成果满意度指标旨在了解学生对学习成果的感受。满意度只能通过人的实际感知来测量，因而它仅存在于实然阶段。对学习成果满意度的评价，由评估小组在课程结束后三个月内组织实施，参与的学生样本应不少于40人。一方面通过调研问卷采集定性数据，一方面要求学生在0到100分之间对总体满意度做出量化评价。对于调研中发现的学生不满之处，应及时予以记录，作为改进、纠正的参考。通过数据处理工具对调研数据进行处理之后，若满意度数值低于系统设定的最小值，评估小组必须展开深度分析来查找原因，制定纠正改进方案。

（6）形象质量(www.xing528.com)

基于“学校的品牌形象会对利益相关者关于学习成果的期望和感知产生影响”这一前提论断，ExPerO模型设立了形象质量指标。品牌形象是事物符号和价值维度的向量，它代表人们对某物的总体印象并将其与同类事物加以区分。作为一个宏观定性指标，它由形象唯一性、渠道一致性、时间一致性、产出一致性、信用和价值观六个维度的要素构成^[27]。评价形象质量指标的方法：以学校愿景为参照，通过问卷分别调查内、外部利益相关者和学生对形象质量的看法，他们可以用自己认为最恰当的语言，以不同的语义尺度来描述对学校形象的实际感受。之后，将三组人员的评价结果与愿景进行比较，分析学校现实形象与愿景描述之间的一致性和差异性。再根据比较评价的结果，对学校愿景进行检验、更新修正或沟通说明。

3.评估实施流程

根据ExPerO模型的上述理论框架和指标体系间的逻辑关系，评估实施流程可被归结为五个步骤。

（1）组建工作团队

学校领导层负责组建由组长、研究主管、区域质量机构代表、教师、学生和管理人员等构成的评估小组，全程参与信息资料的采集、审查、分析及后续的改进工作。

（2）采集应然阶段的信息资料

通常在学期初或课程开始前进行，主要任务包括：学校领导层制定使命和愿景，据此确定利益相关者名单及其权重，定义学习成果质量的构成要素及其权重；内部利益相关者和学生加入焦点小组，评判学校的组织流程并提出改进建议；外部利益相关者参照使命描述，反馈对学生学习成果质量的期望；将信息资料录入数据处理工具。

（3）采集实然阶段的信息资料

通常在学期末或课程结束后实施，具体任务包括：内部利益相关者（教师）对每个学生的能力质量做出评价；学生对能力质量做出自我评价，同时反馈对学习成果的总体满意度；外部利益相关者从其立场来反馈对学习成果质量的现实感受；所有利益相关者以愿景为参照，对学校形象质量做出评价；将信息资料录入数据处理工具。此外，若需监测某些指标的变化情况（如辍学率等），可在应然和实然阶段的信息采集中，分别设立相应的量化指标。

（4）信息资料的分析处理

主要任务有：评估小组花费足够的时间阅读、审查数据资料，对每个指标做出评分（0—100分之间）；借助数据处理工具，按照各指标所占权重对其加工处理，生成评价结果。

（5）采取纠正、预防和改进措施

评估小组应根据数据处理工具反馈的评估结果，筛选出学校教学中存在的现实问题和潜在问题，深入分析原因，制定纠正方案，采取预防措施，落实责任执行人，明确完成时间，杜绝同类问题重现，防止潜在问题出现。纠正和预防措施完成后，还应对其是否有效进行追踪评价。此外，评估小组还须依照各利益相关者在应然阶段所表达的期望诉求，对学校工作进行全面检视，寻求改进空间，持续提升机构效率，努力缩小利益相关者期望与感知之间的差距。

（四）ExPerO模型的主要特色

1.强调学生的能力素养，突出职业教育核心特质，指向持续改进

绝大多数国家都已意识到，拥有解决问题、沟通合作、批判性思考、创造力等综合能力的学生，才能在当今激烈的社会竞争中立足。尽管世界各国职业教育的形式各异，但培养能灵活适应劳动力市场需求、可持续发展、实践动手能力强的高素质劳动者，是各国职业教育的普遍特征。教学内容针对性、实用性强，具有较为开放的质量文化，易于同外部利益相关者建立协同关系，是职业教育有别于普通教育的基本特色。

ExPerO项目面向欧洲4—5级职业教育机构，它从研发之初便充分考量职业教育的类型特点。在ExPerO模型中，学习成果是教育活动成效的集中体现。对学习成果质量进行评价，即是瞄准职业教育的输出端，把学生通过完成学业所掌握的知识、技能、行为方式等综合素养作为检验职业教育成效的基本依据，强化了职业教育的根本使命。相较于全面质量管理视域下偏重过程管理的诸多模型，ExPerO模型是第一个致力于评估职业教育学习成果质量的工具，它更加准确地把握和凸显了职业教育的核心特质，回应了当下全球职业教育所关心的共性问题，达到了研制的初衷。同时，ExPerO模型并非将教育质量指标视为机械化的官僚标准，而是坚持过程和结果并重，将人们对学习成果质量的期望与感知进行比较，从中发现目标计划与现实状况之间的差距，使学校更易于甄别人才培养中的问题，并持续改进。

2.注重利益相关者的获得感与实际体验，彰显教育评估的人本属性

经验主义和理性主义是长期存在的两种教育评估取向，前者注重经验材料和人的主观判断，后者强调评估的标准化、客观性。21世纪以来，理性取向的教育评估日渐占据主导地位，它将复杂的教育现象和结果不断细化分解为易测量、明确的评估指标，实质上是对普适性需要和科学化手段的迎合，但其固有的机械性、物质化、形式化等弊端则削弱了教育评估的应有价值。鉴于经验主义和理性主义的评估取向均不适合独立担负教育评估的重任，所以，集二者之所长、实现二者的平衡互补是教育评估走向完善的必然之路。

人是教育活动的主导者，也是教育成果的最终受益者和评判者。ExPerO模型的一大特色，就是引入了人主观层面的“期望”与“感知”要素，把利益相关者在评估前后形成的理想期盼与现实感受，作为评判学习成果质量的基本参照，提升了他们对学校教育事务的参与度、认同度和满意度，体现了对评估中“人”这一根本主体的尊重，增强了利益相关者对学校教育这一“服务”活动的获得感与实际体验，实现了教育评估由“物”到“人”的回归，使得教育评估的人本属性得以彰显。与此同时，ExPerO模型并未排斥或弱化量化数据和定量方法在评估中的重要作用（如采用专门的数据处理工具），而是将其当作期望与感知进行比较的工具和依据，在一定程度上实现了理性主义与经验主义的合理平衡。

3.赋予利益相关者明确的评估职责，为切实落实评估主体多元化提供了实践范例

评估主体多元化是现代教育评估届广为认同的理念之一，但受制于现实条件，其在评估实践中的落实仍不充分、不深入。除却教育管理体制、文化传统等因素，评估机制与方法不适宜也是原因之一。在当下的诸多质量评估工具中，ExPerO模型首次基于利益相关者取向，以分阶段采集教职工、学生、行业企业、雇主、家庭等内外部利益相关者反馈的信息为基础，评价学生的学习成果质量。它通过下沉评估主体，明确应然和实然阶段、各类评估指标所涉及的利益相关者群体的类型和数量，创建沟通交流机会，将期望与感知加以比较，从不同立场对学校教育活动的流程和成效做出全方位评价，为多元主体切实有效参与教育评估提供了机制和路径保障。

在ExPerO模型中，利益相关者之间沟通联络机制的建立，有助于学校系统分析自身优势和不足，优化组织流程。对内而言，ExPerO模型对所有间接或直接参与教学并可能对利益相关者的期望产生影响的教师、学生、管理人员等均提出了要求；对外而言，吸收外部利益相关者参与评估，提升了社会力量对学校办学活动的话语权，使得其反馈意见能及时、准确地融入教育教学过程，有助于学校面向社会、开门办学。

4.多方协同参与模型研制与验证，推动质量标准的国际化、通用化

ExPerO模型由一个跨学科的国际团队协同研制而成，团队成员的知识背景涉及社会心理学、社会学、市场营销、成人教育、全面质量管理等领域。其最终目标是在参照现有评估理论与实践的基础上，创建一个能对职业教育学习成果质量进行评估的、国际通用的质量工具。

研制过程中，项目团队同16所职业院校密切合作，向与职业教育有关联的各领域人员广泛征求意见，并采取混合交叉方式，分3个步骤对其进行了验证和完善。第一步是国际教育评估专家评审。从5个欧盟成员国中各选取1名专家，采用“五点李克特量表”，就评估模型的创新性、适用性、完整性等进行论证，评点其优势与不足，5位专家对该模型均给予了高度评价。第二步为试点应用。根据专家反馈意见做出改进后，在5个参与合作国家的职业院校进行实践试用^[28]，以收集一线教育工作者的评价意见。所有参与院校均对试用结果表示满意并愿意在今后继续使用。第三步是转换为国际质量标准模型。专门邀请SGS公司，遵循严格标准和程序，对ExPerO模型及其工具进行检验，目前该模型已通过SGS国际委员会的认证，具备了国际推广的资质^[29]。教育评估专家和认证机构的意见认为，ExPerO模型与职业教育的适切度高，其将事先预期与现实感知进行比较的做法，为利益相关者之间的有效沟通创造了机会，为客观评价学习成果提供了系统可靠的信息资料。ExPerO被欧盟认定为LLP的最佳实践项目。

5.促进完善内部教育质量保障体系，打造有公信力的国际质量认证品牌

以院校为基准，教育质量保障可分为内部与外部两个层面。院校自我质量保障的内推力为根本，政府和社会质量保障的外推力为补充，是教育质量保障体系建构的应然逻辑。ExPerO模型专门面向职业教育，它以宽广的视野，涵盖了可能影响学习成果质量的所有核心要素，任何职业教育机构均可用其监测自身所提供的教育服务与外界需求之间的匹配度，识别可能影响学生学习成果质量提升的薄弱环节和区域，了解外部利益相关者对教育机构的敬业精神、专业能力和责任意识的评价意见，以资改进。因此，它是学校建设和完善内部质量保障体系的有效工具。为打造有公信力的国际质量认证品牌，ExPerO项目团队还成立了ExPerO国际质量协会，该协会在众多欧洲国家均设有代表处，是唯一被授权从事ExPerO质量认证的独立性第三方机构。采用ExPerO模型的教育机构若希望通过一定方式来证明自身的教育质量达到了相应标准，可向ExPerO国际质量协会提出认证申请并在通过后获得不同等级的证书。其中，绿色公章的证书表示该学校在第一次认证之后、第二次认证之前的改进工作得到了认可。金色公章的证书表示在获得绿色公章证书之后，学校进行了至少两个学年系统持续的改进，质量水平已有显著提升^[30]。该认证证书相当于一个质量标签，代表学校的教育产品或服务得到了外界认可，达到了标准要求。从此意义上来讲，该模型对学生学习成果质量的认证，不啻为对教育机构办学的一种鞭策与激励。

同时也应注意到，ExPerO模型作为欧洲为应对全球化挑战、保障提升职业教育质量而研制的一个重要评估工具，强调欧盟成员国间的协调和目标整合，具有一定的欧洲价值色彩。此外，该模型所依据的“期望”与“感知”要素属于人主观因素的范畴，它同利益相关者的知识眼界、修养阅历、价值观念等密切关联，在实际应用中，应加强对影响评估信息采集的各种不确定性因素的甄别与控制，做好对利益相关者代表的遴选把关，吸收责任心强、综合素质高的利益相关者参与评估，方能取得预期成效。