情景判断测验多特征多方法构思模型比较及效度检验

本研究采用了胜任能力自评量表作为情景判断测验构思效度的旁证工具。在明确了情景判断测验所测量的构思维度后，本研究希望通过多特征多方法检验，对情景判断测验的聚合效度及辨别效度进行检验。同时，也对情景判断测验方法对测验得分的影响进行估计。

前面的分析表明了情景判断测验主要测量了人际胜任、诚信责任和问题解决三个维度，而胜任能力自评量表的内在结构同样包含了人际关系、诚信责任和问题解决这三个方面的等维度。在此基础上，本研究以这六个维度分数作为观测值，对情景判断测验的构思效度进行检验，同时，比较胜任特征的情景判断测验测量与胜任能力自评量表测量之间的特征。

如表7-5所示呈现了情景判断测验与胜任能力自评量表间的多方法多特征矩阵。从多特征多方法矩阵可以看出：情景判断测验方法与胜任能力自评量表在测量同一特征时，在关系胜任、诚信责任和问题解决三个维度上，异方法同特征观测变量间的相关分别达到了0.27、0.41和0.34，相关均在0.01水平显著，异方法同特征观测变量间的平均相关为0.34，这说明测验具有较好的聚合效度；异方法异特征观测变量间的平均相关为0.20，各相关系数均低于异方法同特征观测变量间的相关系数，说明测验具有一定的辨别效度，但是，在同方法异特征观测变量间的相关较高，这与Schneider和Schmitt（1992）以及吴志明、张厚粲（2001）等在评价中心辨别效度研究结果一致，说明测量方法本身对测验得分具有重要的影响。

表7-5　情景判断测验与胜任能力自评量表多方法多特征矩阵

*p＜0.05　**p＜0.01

从多特征多方法矩阵可以看出：测验方法本身对测验得分有着重要的影响，为了能够对测验方法及维度特征对测验得分影响效应进行评估，本研究采用了验证型因素分析方法，对各种不同的模型假设进行了比较检验。

在结构方程模型比较和评价策略上，主要存在严格验证（Strictly Confirmatory）、模型构建（Model Generation）和替代模型比较检验（Alternative Models）三种策略（MacCallum，2001）。所谓严格验证模型策略是指研究前只提出单一的检验模型，然后应用结构方程技术对这一模型进行检验；模型构建策略是指研究中提出的假设模型与数据基本拟合时，根据结构方程检验结果，对模型进行调整，在运用EQS统计软件时，主要根据W检验和LM检验结果，结合理论意义，作为模型调整的基础；替代模型比较策略主要是指在进行结构方程检验之前，先根据以往研究的理论基础，提出几种替代的假设模型，然后分别对各种模型进行检验和评价。由于模型构建策略具有数据驱动性质，MacCallum，et al（1992）指出在进行模型调整时，必须满足一定的条件，修正的模型必须具有理论意义，才能保证这种策略不会被误用。在目前SEM检验中，用的比较多的是替代模型策略。

（1）三种替代模型假设

情景判断测验多特征多方法检验采用替代模型策略。在以往研究的基础上，研究提出了三种模型假设：单纯方法模型，该模型假设测验并没有反映任何能力维度特征，测验得分仅仅受测量方法的影响；单一特征多方法模型（简称单质多法模型），Lievens，Conway（2001）在评价中心构思效度研究中发现，评价中心多种练习得分之间的关系更加符合多练习单一特征模型假设，认为测验得分受一个通用特征和测量方法共同影响，在此基础上，本研究提出了单一特征多方法假设；多特征多方法模型（简称多质多法模型），该模型假设情景判断测验和自评量表测量了多维构思，而多个维度之间存在着两两相关，测验得分受多维构思和方法共同影响，为了使模型能够识别，在假设模型上，本研究采用MacCallum，et al（2002）提出的假设误差因素均等的方法。

单纯方法模型、单一特征多方法模型及多特征多方法模型的假设分别如表7-6、7-7、7-8所示。

表7-6　单纯方法模型验证型因素分析假设

续　表

表7-7　单一特征多方法模型验证型因素分析假设

表7-8　多特征多方法模型验证型因素分析假设

注：“？”表示要估计的参数，“0”表示固定参数

（2）三种模型的拟合度检验结果(www.xing528.com)

如表7-9所示呈现了三种模型的拟合度检验结果，三种模型的χ2检验结果得到：单纯方法模型和单质多法模型χ2在0.01水平显著，单质多法模型在拟合度上要优于单纯方法模型；多质多法模型χ2虽然在0.05水平显著，但是，从模型的拟合度指标来看，CFI指标为0.97，模型的均方根残差小，说明模型有较好的拟合度。从三种假设模型的比较检验结果看：多质多法（多特征多方法）模型要优于单纯方法模型和单质多法模型。

表7-9　多特征多方法模型假设检验结果

GFI：拟合度指数；AGFI：校正后的拟合度指数；NFI：标准拟合指数； 　
CFI：比较拟合指数；IFI：差别拟合指数；RMR：均方根残差

情景判断测验与胜任能力自评量表的多特征多方法验证型因素分析检验结果较好的支持了本研究假设4，即测验的多特征多方法模型在拟合度上要优于单纯方法模型和单一维度多方法模型。

（3）情景判断测验与胜任能力自评量表多特征多方法验证型因素结构模型

在三种模型检验与评价的基础上，本研究得到了情景判断测验与自评量表的多特征多方法验证型因素分析结果（如图7-2所示），图7-2中SJch，SJini，SJint分别代表了合成的诚信责任、问题解决和人际胜任特征的情景判断测验观测分数；SRch，SRini，SRint分别代表了合成的诚信责任、问题解决能力和人际关系能力的胜任能力自评量表观测分数。

从验证型因素分析结果可以看出：情景判断测验的关系胜任特征与自评量表的人际关系能力在关系胜任潜构思上聚合；情景判断测验的诚信责任特征与自评量表中的诚信责任能力在诚信责任潜构思上聚合；情景判断测验的问题解决特征与自评量表中的问题解决能力在问题解决潜构思上聚合。情景判断测验与自评量表共同测量的三个维度间的相关在0.54和0.65之间，具有中等程度的相关。从总体上看，情景判断测验和自评量表间具有良好的聚合效度。

图7-2　情景判断测验与胜任能力自评量表多特征多方法验证型因素分析结果

在分析基础上，本研究对测验的特征效应和方法效应进行了估计。在情景判断测验中，特征和方法对情景判断测验各维度得分均有着重要影响。对于自评量表而言，测验得分的变异更多的来自于特征的影响，除了人际关系能力的得分以外，测量方法对测验得分的影响均很小。从情景判断测验与自评量表的方法效应比较检验结果在某种程度上可以认为，情景判断测验与自评量表反映了两种不同的测验模式。胜任能力自评量表测量的构思比较单纯，情景判断测验作为重要的情景模拟测验方法，在测量了感兴趣构思同时，也反映出了情景效应，这也是情景判断测验的特征之一。