众所周知，态度、动机、策略和元认知方面的众多内容在很大程度上受到文化的影响，而在目前大规模教育评估中主流的调查方法采用自陈式问卷，尽管PISA已经尝试在未来的测评中对其中的某些因素进行客观的测评，但从目前来看，自陈式问卷调查仍是最基本的方法。作为一项覆盖全球绝大多数国家和地区的国际性评估，为了确保这些自我报告内容的可比性，PISA已经进行了多种卓有成效的测评技术改进。
PISA的指标一般分为两类，简单指标是那些通过对一个或多个问题进行算术转换或重新编码得到的，量表指标是通过对多个题目进行量尺化之后建构而成的。量表指标值的获得比较复杂，一般采用项目反应理论估计二分题目或李克特量表题目的潜在特质估计值。[45]学习者特征方面因素几乎都是比较复杂的潜在结构，很难用简单指标表示，因此主要采用量表指标来表示。
PISA 2012在进行量表指标建构时，先从64个参与国家或地区中各抽取750名学生，基于这一群体来确定项目反应方程的参数值，然后计算各国或地区的量表指标值。为了各国或地区之间可以进行方便的比较，将各国或地区的指标值基于OECD均值进行标准化转换，即各国或地区的指标均值与OECD平均值之间的差异用OECD指标值标准差为单位来表示。这样一来，OECD国家平均的量表指标就设定为0，标准差设定为1了。
3.4.2.2 引入新的测评技术
为了应对自陈式问卷的社会文化偏向，PISA逐步引入了一些新的测评方法，不断改善问卷的信效度。
1）辅测定锚法。辅测锚定法依据作答者对量表的解读重新量化（锚定）其回答，借此来解决回答倾向性问题，提高国际比较的可信度。PISA中的做法是先提供一组近似测量内容的模拟情境，要求学生对其进行评定，之后出现实际需要学生评定的内容。结合前置的辅测，实际评定的等级可以调整为2J＋1个（其中J代表辅测的锚点数）。
PISA 2012试测研究发现，在有关教师支持（学校风气当中的一个分量表）的问题上，采用定锚法之后（见图3-18），无论在国家或地区内还是国家或地区间，教师支持与学生数学成绩均表现为非常一致的正相关；而在未采用锚定法时，平均的国家或地区内相关是正向的，而国家或地区间则是负向的。进一步的研究发现，采用同样的定锚量表，在师生关系（学校风气的另一分量表）、对数学的兴趣（非学校分期量表，数学学习动机量表）两个指标上也表现出类似的情况，并且研究还表明在学生个体层面上进行锚定相比群体锚定更有效。
图3-18 PISA 2012锚题
通过对正式测试的初步分析，发现采用辅测定锚法后因素的单维性更加清晰，内部信度也更高；国家或地区内和国家或地区间因素与数学成绩的相关性更为一致；并且大量学生态度因素与成绩之间都呈现出正向相关性，各因素的结构与未采用辅测定锚法时保持一致。
2）情境判断法。顾名思义，情境判断法是通过描述一个具体的问题情境，要求学生就该问题情境做出相应的判断。PISA 2009采用情境判断发调查学生的元认知水平，首先模拟了一个情景任务：“你刚刚阅读了一篇又长又相当难的文章，有两页纸长，内容是关于非洲的一个湖泊水位的变化。你必需写一篇摘要。”[46]在此基础上，要求学生判断五种阅读方法对完成该问题的有效性。与直接询问学生使用何种策略相比，虚拟针对性更强，能很大程度上减少因为对问题理解差异所带来的问卷指标可比性问题。PISA 2012采用情境判断法调查学生问题解决倾向。其中一个题目首先描述了一个可能的场景：“假设你来到火车站。里面有一台你从没用过的自动售票机，你需要买张票”，然后要求学生在四种可能的做法中进行判断。相比抽象的询问学生一般的做法，在这种具体的问题情境下，学生更容易按自己的偏好进行判断，从而展示他们真实的问题解决偏好。
3）迫选法。迫选法要求回答者就某个问题对两个或多个相冲突的陈述进行比较，并选出更合适的一个。这一方法可以较好地克服传统李克特自陈式量表回答中容易出现的可训练性、伪装和社会期望等问题。PISA 2012测试数据分析发现，迫选法（见图3-19）较好地克服了态度因素与成绩的相关关系在国家或地区内和国家或地区间的不一致性。例如，在评估学生三种学习策略的使用情况时，PISA 2012采用了这样的题目[47]：
图3-19 PISA 2012迫选法样题
4）信号检测修正。PISA 2012中在调查学生对数学概念的掌握时，在真正的数学概念中混入三个假数学概念，要求学生判断是否熟悉。据此通过信号检测的方法来修正学生自我报告中可能出现的伪装问题。通过分析发现，采用信号检测修正的方法可以大幅度地提高国家间的可比性。
【注释】
[1]拉尔夫·泰勒.课程与教学的基本原理［M］.施良方，译.北京：人民教育出版社，1994：85.
[2]张民选，陆璟，占胜利，朱小虎，王婷婷.专业视野中的PISA［J］.教育研究，2011，（06）：3-10.
[3]Centre for Educational Research and Innovation.Education at a Glance-OECD Indicators 1998［EB/OL］.10.1787/eag-1998-en，2015-12-11.
[4]OECD.Definition and Selection of Competencies：Theoretical and Comceptual Foundations（DeSeCo）：Background Paper［EB/OL］.http：//www.oecd.org/education/skills-beyond-school/41529556.pdf，2015 -12 -11.
[5]Rychen，D.S.and Salganik，L.H（Eds.）.Defining and Selecting Key Competencies［EB/OL］.http：//www.oecd.org/dataoecd/47/61/35070367.pdf，2015-12-11.
[6]Dominique Simone Rychen，Laura Hersh Salganik，滕梅芳，盛群力.勾勒关键能力，打造优质生活——OECD关键能力框架概述［J］.远程教育杂志，2007（05）：24-32.
[7]OECD目前有34个成员，该组织的主要目标是使成员国实现最佳的可持续经济发展和就业水平，不断提高生活水准，同时保持财政稳定，以对世界经济的发展做出贡献。OECD官方网站：http：//www.oecd.org.
[8]张民选，陆璟，占胜利，朱小虎，王婷婷.专业视野中的PISA［J］.教育研究，2011，（06）：3-10.
[9]这里包括了所有在上海举办的有15岁在校生的学校，学生中包括了外来务工人员子女和外籍学生。特殊教育学校和国际学校的学生、有智力障碍和严重功能性残疾（例如盲聋哑）的学生以及学习汉语不足一年的学生可以在最后的抽样阶段剔除。
[10]经济合作与发展组织（OECD）.面向明日世界的学习：国际学生评估项目（PISA）2003报告［M］.国际学生评估项目上海研究中心，译.上海：上海教育出版社，2008：20.
[11]在2009年，PISA将基于计算机的阅读测试称为“电子阅读测试”，英文为Electronic Reading，PISA 2012中称为“数字阅读”，英文为Digital Reading。
[12]PISA 2015所有测评领域都采用计算机进行测评，如果一些国家或地区不选择使用计算机测评，则不能参加新开发的测评，只能进行连接试题的测评。OECD.PISA 2015 Draft Science Framework［EB/OL］.2014-06-15，46.
[13]这里是指所有测评选项，实际上上海并没有参加2012年的教师问卷和家长问卷。
[14]OECD.Measuring Student Knowledge and Skills：A New Framework for Assessment［M］.Paris：OECD Publications，1999：11.
[15]OECD.Literacy and Skills for Life：First Results from PISA 2000［M］.Paris：OECD Publications，2001：17.
[16]OECD.Measuring Student Knowledge and Skills：A New Framework for Assessment［M］.Paris：OECD Publications，1999：11.(www.xing528.com)
[17]OECD.Learning for tomorrow’s world：First Results from PISA 2003［M］.Paris：OECD Publications，2004：21.
[18]OECD.PISA 2006 Science Competencies for Tomorrow’s World：Volume 1-Analysis［M］.Paris：OECD Publishing：2007：16.
[19]OECD.PISA 2003 Assessment Framework-Mathematics，Reading，Science and Problem Solving Knowledge and Skills［EB/OL］.http：//www.pisa.oecd.org，2014-10-15.
[20]陈慧.PISA问题解决能力测评的研究［D］.上海师范大学，2007.
[21]OECD.PISA 2003 Assessment and analytical framework-mathematics，reading，science，problem solving，Knowledge and Skills［M］.OECD Publications，2003：172.
[22]OECD.PISA 2012 Assessment and Analytical Framework-Mathematics，Reading，Science，Problem Solving and Financial Literacy［M］.Paris：OECD Publishing，2013：122.
[23]OECD.PISA 2012 Assessment and Analytical Framework-Mathematics，Reading，Science，Problem Solving and Financial Literacy［M］.Paris：OECD Publishing，2013：120.
[24]OECD.PISA 2015 draft collaborative problem solving framework［EB/OL］.http：//www.oecd.org/pisa/pisaproducts/Draft%20PISA%202015%20Collaborative%20Problem%20Solving%20Framework%20.pdf.2015-11-11.
[25]OECD.PISA 2012 Assessment and Analytical Framework-Mathematics，Reading，Science，Problem Solving and Financial Literacy［M］.Paris：OECD Publishing，2013：26.
[26]国际学生评估项目中国上海项目组.质量与公平：上海2012年国际学生评估项目（PISA）结果概要［M］.上海：上海教育出版社，2014：8.
[27]本研究中所引用的计算机测试样题均来自ACER官方网站：http：//cbasq.acer.edu.au/.
[28]Lesh，R.，Zawojewski，J.S.Problem solving and modeling［A］，in F.Lester（ed.），The Handbook of Research on Mathematics Teaching and Learning（2nd ed.）［C］.National Council of Teachers of Mathematics，Reston，Virginia，and Information Age Publishing，Charlotte，North Carolina（joint publication），2007：763804.
[29]OECD.PISA 2012 Assessment and Analytical Framework-Mathematics，Reading，Science，Problem Solving and Financial Literacy［M］.Paris：OECD Publishing，2013：125- 126.
[30]王洁.PISA2012问题解决模块测试及上海学生表现评析［J］.上海教育科研，2015（02）：11-15.
[31]OECD.PISA 2012 Assessment and Analytical Framework-Mathematics，Reading，Science，Problem Solving and Financial Literacy［M］.Paris：OECD Publishing，2013：126-127.
[32]作者注：酒肆内只有5两和7两的舀酒勺，顾客要买2两酒，怎么用这两个勺子舀出来？
[33]问题2所显示的交通线路图与图12稍有不同，用红色字体标出了“钻石”和“爱因斯坦”站名。
[34]问题3所显示的交通线路图与图12稍有不同，用红色字体标出了“银色”“林肯”和“诺比尔”三个站名。
[35]OECD.PISA 2012 Results：Creative Problem Solving：Students’Skills in Tackling Real-Life Problems（Volume V）［M］.OECD Publishing，2013：34.
[36]Greiff，S.et al.Computer-based assessment of complex problem solving：Concept，implementation，and application［J］.Educational Technology Research&Development，2013b，61：407-421.
[37]Novick，L.R.&Bassok，M.Problem solving［A］，in Holyoak，K.J.&Morrison，R.G.（Eds.），The Cambridge handbook of thinking and reasoning［C］.Cambridge，NY：University Press，2005：321-349.
[38]Buchner，A.&Funke J.Finite-state automata：Dynamic task environments in problem-solving research［J］.The Quarterly Journal Of Experimental Psychology A：Human Experimental Psychology，1993，46A（01）：83118.
[39]Funke，J.Dynamic systems as tools for analysing human judgement［J］.Thinking&Reasoning，2001，7（01）：69-89.
[40]OECD.PISA 2012 Assessment and Analytical Framework-Mathematics，Reading，Science，Problem Solving and Financial Literacy［M］.Paris：OECD Publishing，2013：125.
[41]OECD.Beyond PISA 2015：A Long-term Strategy of PISA［EB/OL］.http：//www.oecd.org/pisa/pisaproducts/Longer-term-strategy-of-PISA.pdf，2015-11-12.
[42]OECD.PISA 2012 Results：Ready to Learn：Students’Engagement，Drive and Self-Beliefs（Volume III）［M］.Paris：OECD Publishing，2013：64.
[43]OECD.Measuring Student Knowledge and Skills：A New Framework for Assessment［M］.Paris：OECD Publications，1999：38.
[44]Bandura，A.Social Learing Theony［M］.New York：General Learning Press，1977.
[45]OECD.PISA 2012 Technical Report［M］.Paris：OECD Publications，2014：306.
[46]朱小虎.PISA对学生学习方法的研究及启示［J］.外国中小学教育，2010，（09）：23-26＋31.
[47]《PISA 2012学生问卷A》问题41。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
