首页 理论教育 教育中课堂梳理效度鉴定方法和指标体系

教育中课堂梳理效度鉴定方法和指标体系

时间:2023-08-01 理论教育 版权反馈
【摘要】:换言之,评价效度要求评价结果应当符合评价目的。其实际效果必然不佳,因此,再评价者必须十分重视对评价效度进行鉴定。(一)评价指标体系的效度鉴定方法评价指标体系(及工具)的有效性主要表现在两个方面:能够充分覆盖所要评价的内容,能够准确地提供被评价对象特性的信息;评价结果能够反映制定指标体系时的理论构想。把两张双向细目表进行对照,两者的一致性程度越高,评价效度也就越高。上述两种效度鉴定是相互联系的。

教育中课堂梳理效度鉴定方法和指标体系

评价效度是判断评价质量的重要技术指标之一。它是指评价结果的有效性或准确性,即评价对其所要评判的特性准确评价的程度。

换言之,评价效度要求评价结果应当符合评价目的。如果一个评价效度很低。其实际效果必然不佳,因此,再评价者必须十分重视对评价效度进行鉴定。

(一)评价指标体系的效度鉴定方法

评价指标体系(及工具)的有效性主要表现在两个方面:能够充分覆盖所要评价的内容,能够准确地提供被评价对象特性的信息;评价结果能够反映制定指标体系时的理论构想。前者是指指标体系的内容效度,后者是指指标体系的结构效度。

内容效度鉴定一般采用逻辑分析方法。人们通常采用专家判断的方式来确定评价指标的内容效度。如对学生学业成就进行评价时,评价者一般都以学科测验作为评价指标。学科测验是否能真正体现大纲所规定的培养目标,需要进行效度检验。

最常用的做法是由评价者先提出命题的双向细目表,并编制相应的试题。

然后,请若干学科专家(作为再评价者)根据试卷,判断各道试题所实际测量的学科内容及认知水平,列出评判的双向细目表。把两张双向细目表进行对照,两者的一致性程度越高,评价效度也就越高。

通过专家判断确定指标或工具的内容效度,是最常用的方法,而且简便易行。其优点是可在评价实施前进行,根据判断结论及时进行修订,使评价指标或工具具有较高的内容效度。

其缺点是容易受专家主观经验的影响,且缺乏可靠的数量指标,妨碍了各种指标或工具之间的相互比较。

指标或工具的结构效度分析一般采用因素分析的方法。因素分析是一种常用的多元统计分析方法,其主要用途是从众多变量的交互相关中找出起决定作用的少数几个基本因素。

下面以华东师范大学学能测验课题组编制我国高中生学能测验为例,对结构效度分析的过程作简要的阐述:首先提出学能测验的能力理论构想框架,如把语言能力分为系统化知识,接受、理解能力,处理信息能力和表达能力四种子能力,每种子能力又细分为若干测量要素,然后根据预定的能力结构框架编制试题,经抽样(样本学生为上海市235名高三在校生)实测后,对测量结果进行因素分析。具体过程如下所示。

1.计算代表各测量要素的试题(组)得分之间的相关,求出各测量要素的相关矩阵

2.用特征值法计算初始因素负荷矩阵,并进行方差极大正交旋转(保留全部因素),得到方差极大正交旋转因素负荷矩阵。

对实测数据的因素分析基本上验证了预定的语言学能的结构设计。不同之处是:系统化知识与接受、理解能力合并为一个因素,而处理信息能力则分解为两个因素。因此,因素分析能验证或深化人们对指标体系或工具结构效度的认识。

(二)评价结论的效度鉴定方法

评价结论的效度检验既可以采用定性方法,也可以采用定量方法。两者都属于效标关联效度,即根据效标来判断评价结论的有效性。

1.最常用的定性方法是三角互证法,即用不同来源的定性材料来证实同一结论。(www.xing528.com)

例如在评价教师时,不少学校采用教师自我评价、同事评价、领导评价相结合的方式,有些学校还参照学生评价的意见。这些针对特定教师的、不同来源的评价信息之间的一致程度越高,评价结论的效度就越高。同样,也可以通过不同收集信息的方法(如查阅学校档案、与教师面谈、观察学生)进行效度互证,寻找信息的会聚点,来评价资料(或结论)的真实性。

2.在评价结论采用定量方式时,则可用相关法计算评价结论的效标关联效度。

计算相关的具体方法应当依评价结论及效标的量化水平而定,可采用积差相关法等方法。一般说来,效标关联效度随意的相关系数越高,评价结论的有效性也越高。

上述两种效度鉴定是相互联系的。一方面,评价指标和工具的有效性是评价结论有效性的基本前提;另一方面,前者又是为后者服务的。因此,从根本上看,判断评价的有效性要以考评结果和被评价者实际表现的一致性为最终依据。这不仅是因为评价结论对被评价者具有重要的影响,而且还由于评价结论的有效性应当具有坚实的实证基础。

总之,实践是检验真理的惟一标准,有效的评价应当正确地揭示被评价者的实际,并作出相应的价值判断。

(三)影响评价效度的因素

实践表明,对评价效度产生较大影响的因素包括:

1.评价指标和工具的科学

评价指标体系的科学、合理、针对性,评价工具充分体现评价指标的核心内容、收集到所需的信息,是有效评价的基本前提。为此,评价指标和工具在正式使用前,须进行多次试用和修订。

2.评价实施的质量

评价实施的质量包括评价是否严格按照预定的程序进行,是否选择了适当的时间和场合进行,是否排除了各种人为因素(或偏差)的影响和干扰等方面。要科学、规范、客观地实施评价,再评价的组织者应采取有效的培训和监控措施,提高评价者的自身素质,鼓励被评价者积极参与。

3.效标特征

选择适当的效标是保证评价效度的关键因素。再评价者应当十分慎重地选择效标,效标应当可靠,而且要尽量避免出现效标污染情况,即效标包含了与评价目的无关或关系不大的内容。

4.被评价者的特性和样本的代表性

被评价者的兴趣、动机、情绪、态度和身体状况,对评价项目的反应性等对效度也有重要影响,应当予以充分的重视。在进行抽样评价时,还应当注意样本的代表性,这样有助于提高评价的效度。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈