提高评价信度的方法及影响因素

评价信度也是判断评价质量的重要技术指标之一。它是指评价指标（或工具、结果）的可靠性、一致性和稳定性程度。评价如果信度很低，其结果就缺乏可靠性。因此，再评价者必须十分重视对评价信度进行鉴定。

（一）评价信度鉴定的方法

1.评价指标的信度鉴定方法

评价指标的信度鉴定方法主要采用内在一致性信度。一般说来，同组各分指标的内在一致性程度越高，该组指标的信度也就越高。对指标体系而言，由于各个一级指标大多是异质的，如第一个一级指标与办学条件有关、第二个一级指标与办学过程有关、第三个一级指标与办学成果有关，此时应当用复本法或再测法来估计指标体系的信度。

2.评价工具的信度鉴定方法

评价工具的信度鉴定也主要考查工具的内在一致性信度、稳定性信度和等值信度。

3.评分者的信度鉴定方法

在教育评价中，评价者对被评价对象评判的稳定和可靠程度，对整个评价的可靠性具有重要影响。研究表明，不同评价者在评价同一对象时，评价结论会产生重大的差异。

北京师范大学课题组曾对高考的评分误差进行过研究。他们从北京市随机抽取了语文、政治、数学、物理四科各五份试卷，复印后分发给全国二十八个省、市、自治区的高考阅卷组评阅。同时又请某省高考阅卷组从九门考试科目中各随机抽取五份试卷，复印后由同一科目的各阅卷组分头评阅。结果如下：就全国而言，各地对五份试卷评分的最大差异为：语文19～32分；政治12～19分；数学8～15分；物理6～13分。就一省而言，不同阅卷组对同一份试卷评分的最大差异为：语文23分；政治7分；数学11分；物理2分；化学7分；生物10.4分；地理4分；历史6.7分；英语1.5分。

这些评分误差都是在采用相同评分标准的情况下出现的。一般来说，学生学科成绩因评判标准较为明确，还相对容易评定。如对较抽象的行为特征，如进取性、合作精神等进行判断，标准就更难把握，误差更难避免。因此，在一个以上的评价者进行评判时，应当分析评价者的评分信度，对评分误差做出估计。如果评价分误差过大，很难得出综合结论。

（二）信度的数值范围

由于信度是用相关系数来表示的，其数值范围为0.0～1.0，通常是一个小数。信度系数越接近1，表明评价信度越高。

国外学者对众多标准化测验的信度进行研究后，发现学业成就考试、能力测验的信度较高，一般可达到0.9以上，而兴趣、性格、态度等人格测验的信度稍低些，大多为0.80～0.85之间。评价认知发展的指标或工具可靠性较高的原因可归结为认知水平相对稳定、容易外显、被评价对象乐于合作、编制技术成熟完善等，而人格测验所测量的特性更加复杂、不太稳定、在一些敏感问题上，被评价对象不愿暴露其真实想法、测量技术不够完善等因素导致了信度较低。他们建议，当评价工具的信度系数≥0.85时，进行个人比较较为适当，而信度系数≥0.70时，适宜进行团体比较。(www.xing528.com)

尽管全面评价学生、教师或学校，要比进行单项评价更加复杂，面临的困难更多，但上述这些经验性的结论，是可供我们参考的。

（三）影响信度的因素

从总体看，被评价者与评价者状态、评价工具（指标）、评价过程与评分等因素均能引起随机误差，导致评价结论不一致，降低评价信度。了解影响信度的主要因素可帮助评价者采取相应的措施，提高评价的可靠性，并对评价信度做出合理的解释。影响评价信度的因素可简要归纳如下：

1.被评价对象的情况

就被评价者情况来说，被评价对象团体的异质性越大，分数分布范围越大，信度系数就越高。此外，信度还受被评价对象团体平均水平的影响。对于不同水平的团体，相同的评价项目会具有不同的难度，项目难度的变化累积起来便会影响信度。

2.评价指标和评价工具

一般来说，随着评价指标或工具项目的增多，信度值也会有所提高。首先，项目的增加提高了取样的代表性，有助于反映被评价对象的真实水平，从而提高了评价信度。其次，项目增加后，每个项目的随机误差可相互抵消。需要指出的是项目的增加与信度的提高遵守报酬递减规律，当项目达到一定数量后，再增加许多项目，对信度提高的作用微乎其微。

在学业评价中，测验的难度对其信度也会产生间接的影响，当试题过易时，会导致学生得分的范围缩小，从而降低信度；当试题过难时，学生可能凭猜测作答，也同样会降低信度。而难度适中的试题，有利于扩大分数的分布范围，考核出各种层次学生的实际水平。

3.实施评价过程中各种因素

在评价实施过程中，也会出现一些导致误差出现的因素。如评价环境与氛围；评价者的素质、评价者和被评价对象的关系；被评价对象的动机、态度、情绪、身体状况；意外的干扰等。评价者应当注意创设良好的评价环境，对可能产生评价误差的各个环节要密切监控，出现问题，及时纠正。

4.评分误差

减少评分误差是提高评价信度的有效措施。减少评价误差，首先要提高评价人员的自身素质，包括高度责任感、敬业精神、理论与技术素养等；在多人进行判断时，要加强对评判者进行充分的培训，学习、领会和把握好基准，严格按照统一的基准进行评分；同时采取有效的监控措施，如相互核查、抽样检查等。努力消除评分中主观随意性或因疏忽而引起的登录、加总的误差，为评价提供可靠的信息。