基于主观差异加权的情景判断测验效度研究

在近十多年来，有关情景判断测验效度的研究虽然很多，但是，对于情景判断测验效度影响因素的实证研究很少。虽然McDaniel，et al（2001）的文献分类研究发现了一些对实践具有重要意义的结果，也为理解情景判断测验效度的影响因素提供了一些线索，但是，由于元分析研究中涉及的测验形式多样，效度检验的效标也各不相同，因而，效度分类研究的结果还有待进一步实证检验。

Ghiselli，Campbell，et al（1981）在有关行为科学的测量理论方面的论述中谈到：对于测验开发而言，项目开发模式和测验项目的赋权是影响测验效度的最重要因素。本研究主要想通过实证方式，研究这两方面因素对情景判断测验效度的影响。

前面已经提到，以往测验的开发主要存在两种不同的模式：实证开发模式（Empirical Keying）和同质量表模式（Homogeneous Scaling）。实证开发模式是基于项目效度来选择测验项目的方法，这种方法选择那些与外部效标间存在高度相关的项目，从而保证测量项目的有效性。同质量表模式是基于测验内部一致性的测验开发模式，这种方法选择那些与测验总分存在高度相关的项目，实际上，也是选择互相间存在高相关的项目。

有关测验开发模式的优劣存在很多的讨论，Mumford，Owens等认为实证开发模式很难经得起时间的检验，基于实证思路开发的测验在应用于其他样本或进行交叉效度检验时，往往会有一定程度的缩水，效度缺乏稳定性。效度缩水的原因可能是测验开发样本不能充分反映测验要在其中使用的样本；也可能在于用于开发的效标与最终感兴趣的效标之间存在差异；还有一种可能是来自于实证开发模式本身的问题，即非理论导向的本质。但是，实证开发模式也有它的优势，从以往研究来看，基于实证模式开发的测验从保证效标关联效度出发，能够较好地捕捉预测指标与效标间的微妙关系。

同质量表开发模式强调测验项目间的内部一致性，更多的是一种理论导向的测验开发方式。Connelly等（2000）认为同质量表模式开发的测验能较好的保证测验的普遍性和概化效度。同质量表开发模式由于能够较好的抓住绩效的先决因素，跨情景和时间的效度会大些，与实证开发思路相比，测验更加稳定，不易受不稳定因素的影响，有更好的外推性。但是，Roth（1998）等对基于同质量表的测验开发模式提出了一些批评，认为在测验中应该包含更多的社会性成分，它强调评价应中包含更多的关键社会情景信息成分，从工作情景中去理解和评价个体在跨情景条件下工作绩效差异，以保证测验具有更高的生态效度。在Biodata的研究中发现了理论导向的测验开发思路优于实证思路，但是，在情景判断测验的开发研究中，并没有支持这一结论（Weekly & Jones，1999）。在此基础上，本研究假设：(www.xing528.com)

假设9：基于实证模式开发的情景判断测验与基于同质量表模式的测验在效标关联效度及其交叉效度上存在一定的差异；基于同质量表开发模式的情景判断测验在效度上更加具有稳定性。

对于不同赋权方式对情景判断测验效度的影响实证研究很少，Ghiselli和Campbell等人认为基于主观的差异加权能够使得合成测验结果更精确、可靠和富有意义。Waugh在美国军队有关情景判断测验的研究为这方面提供了一些实证的支持，在本研究中，希望通过实证比较的方式对不同赋权方式对情景判断测验效度的影响进行检验，在此基础上，本研究提出如下假设：

假设10：情景判断测验中，由于信息利用等方面的不同，测验计分模式会对测验的效度产生影响。

Anastasi和Urbina（1997）等认为如果项目选择和效度检验都依赖于同一个样本，那么，这样获得的效度系数有可能会高估，为了能够准确地评价测验的效度，需要在其他的样本中进行交叉效度检验（Crossvalidation）。为了对不同的测验开发模式进行比较，本研究采用测验样本作为选择项目的依据，然后，在另外的独立样本中，对情景判断测验的交叉效度进行检验，同时，比较不同测验开发模式对测验效度的影响。