PISA测评的理论和实践

管季超0712

PISA测评的理论和实践发布者：上海市教育科学研究院　日期：2013-10-28



2009年，上海首次参加国际学生评估项目（PISA）测评，在65个国家（地区）中取得了阅读、数学和科学素养三项第一，引起全球关注和国内热议。那么，PISA是怎样实施的？结果是怎么得出来的？对我国基础教育有什么启示？

本书介绍了PISA的研究项目的政策和导向，试题本和问卷设计框架，测试工具的开发和翻译，抽样、现场实施和评卷，结果报告的方法，上海PISA 2009的主要结果，对教育质量监测、课程和评价改革的启示等。
教育质量评价是专业性较强的研究领域，为了能够让更多的读者了解PISA测评背后的思想和方法，作者进行了三个方面的努力：一是用简明的语言准确地表诉PISA的技术要求；二是用较为通俗的语言介绍上海的实施方法和结果，使读者能够从整体上了解PISA从设计到实施到结果报告的全过程；三是在书的最后还附录了PISA 2009学生问卷，以及阅读、数学和科学领域的样题及点评，以帮助读者理解PISA的内容和要求。因此，本书适合教育研究者、教育行政领导、学校校长和教师阅读。

目录1.什么是PISA?　1.1 PISA简介
　1.2 PISA 的研究目标
　1.3 PISA的政策导向
2.PISA是如何组织实施的　2.1 PISA国际组织
　2.2 上海实施PISA 2009的组织机构
　2.3 上海PISA 2009实施时间进度
3.PISA测评什么? 　3.1 PISA怎样测评阅读素养
　　3.1.1 阅读素养的定义
　　3.1.2 阅读素养测评框架
　3.2 PISA怎样测评数学素养
　　3.2.1 PISA数学素养的定义
　　3.2.2 PISA数学测评框架
　3.3 PISA怎样测评科学素养
　　3.3.1 科学素养的定义
　　3.3.2 科学素养测评框架
　3.4 问卷设计和政策研究框架
　　3.4.1 PISA问卷设计方法概述
　　3.4.2 确定问卷研究框架
　　3.4.3 确定研究的主题
　　3.4.4 设计问卷题目
4.PISA 2009测试工具开发和翻译　4.1 命题和试题评审
　　4.1.1 命题和试题评审的程序
　　4.1.2 命题的指导原则
　　4.1.3题目质量评价标准——基于试测结果的评价
　4.2 试题本编排
　4.3 试题本和问卷翻译和修订
　　4.3.1 试题本翻译和修订步骤
　　4.3.2 问卷翻译和修订
5.抽样和考务管理　5.1 学校抽样和学生抽样
　5.2 考务管理
　　5.2.1 学校主考选拔和培训
　　5.2.2 测试主任选拔和培训
　　5.2.3 现场实施
　5.3 评卷
　　5.3.1 学生试题本评分（编码）
　　5.3.2 学生问卷编码
　5.4 数据输入和清理
　　5.4.1 KeyQuest修改
　　5.4.2 数据输入人员选拔与培训
　　5.4.3 数据输入
　　5.4.4 数据清理和提交
6. 质量监测和质量保证　6.1 PISA的保密工作
　　6.1.1 签订保密协议
　　6.1.2 统一时间测试
　　6.1.3 监控评卷过程
　6.2 试题本和问卷印刷质量保证
　6.3 测试实施质量监测
　6.4数据效度检验
　6.5 PISA项目管理对教育质量监测工作的启示
　　6.5.1 制定精细化管理标准
　　6.5.2 采用抽样方法减轻学生和学校的负担
　　6.5.3 从命题程序和技术上保证命题的科学性和公平性
　　6.5.4 制定客观的、反映学生思维水平的评分标准
7. PISA 2009结果的报告方法　7.1 学生精熟度水平和题目难度的关系
　7.2 PISA 2009阅读表现量表
　7.3 PISA 2009数学表现量表
　7.4 PISA 2009科学表现量表
　7.5 问卷指标构建方法
　　7.5.1 学生参与度和学习策略
　　7.5.2 学生个人和家庭背景指标
　　7.5.3 学校背景指标
8. PISA 2009阅读素养测评结果和启示　8.1 上海学生的阅读表现
　　8.1.1 阅读素养量表平均成绩和百分位数分布
　　8.1.2 阅读素养量表精熟度水平分布
　　8.1.3 阅读素养分量表表现
　　8.1.3.1 认知方面分量表
　　8.1.3.2 文本形式分量表
　　8.1.4 阅读成绩的性别差异
　8.2 上海学生的阅读参与度
　　8.2.1 个人阅读参与度
　　8.2.2 学校阅读参与度
　　8.2.3 上海学生阅读参与度的性别差异
　8.3 上海学生的学习策略
　　8.3.1 阅读元认知策略
　　8.3.2 学习策略运用
　　8.3.3 上海学生学习策略的性别差异
　8.4 上海学生的阅读参与度和学习策略与阅读成绩的关系
　　8.4.1 阅读参与度和学习策略与阅读成绩关系的单因素分析
　　　8.4.1.1 个人阅读参与度与阅读表现
　　　8.4.1.2 学校阅读参与度与阅读表现
　　　8.4.1.3 阅读元认知策略和学习策略运用与阅读表现
　　8.4.2 阅读参与度和学习策略与阅读成绩关系的多水平回归分析
　8.5 PISA阅读素养测评对上海阅读课程和评价改革的启示
9. 上海学生的数学和科学素养　9.1 数学素养量表平均成绩和精熟度水平分布
　9.2 PISA数学素养测评的启示
　9.3 科学素养量表平均成绩和精熟度水平分布
　9.4 PISA科学素养测评的启示
　　9.4.1 把广泛的生活情境纳入测评框架
　　9.4.2 注重命题设计的情境生活化
　　9.4.3 命题和测评设计更有效地体现科学探究
10. 教育公平——学生社会经济背景与学业成绩的关系　10.1 PISA评价教育公平的视角
　10.2 学习结果的平等
　10.3 教育资源分配的公平
　10.4 克服学生背景的学习公平
　　10.4.1 学生层面的数据分析
　　10.4.2 学校和学生两层数据分析
　10.5 研究结论和启示
11. 学校教学环境与学生成绩的关系　11.1 概述
　11.2 学习环境和学校风气
　　11.2.1教师和学生间的关系
　　11.2.2学生对学校的态度
　　11.2.3语文课纪律风气
　　11.2.4影响学校风气的学生因素
　　11.2.5影响学校风气的教师因素
　　11.2.6家长给学校的压力
　　11.2.7小结
　11.3 学校资源状况
　　11.3.1人力资源
　　11.3.2经费资源
　　11.3.3硬件资源
　　11.3.4投入学习的时间
　　11.3.5 小结
　11.4 学校教学和评价
　　11.4.1教师激发阅读参与策略
　　11.4.2学校提供的课外活动类型
　　11.4.3 学校对学生的评价方式和评价目的
　　11.4.4 小结
12. PISA 样题　12.1 PISA 2009阅读样题
　12.2 PISA 2003数学样题
　12.3 PISA 2006科学样题
附录1. PISA 2009学生问卷附录2 上海PISA 2009结果所引起的国际反响　1.肯定上海学生的能力以及教育的成效
　2.质疑结果的可靠性或考试结果所反映的能力
　3.我们如何看待？
后记

管季超0712

PISA的功能、特点和借鉴
陆璟，上海市教育科学研究院普教所副所长，PISA中国上海项目组秘书长 一、PISA的特点PISA提倡“为生活而学习”。 PISA所评价的“素养”指的是学生在主要学科领域应用知识和技能的能力，以及在不同情境中提出、解决和解释问题时有效地分析、推理和交流的能力。换句话说，就是评价学生在多大程度上能将学到的东西推及其他，以及用他们学到的知识和技能解决各种背景中的实际问题，不仅包括个人生活和学校教育背景中的问题，也包括公共生活和工作中的问题。这一取向反映了学校教育目标和课程目标本身的变化，即越来越多地关注学生能运用他们在学校里学到的内容做什么，而不单单看他们是否掌握了特定的课程内容。
PISA是一项前瞻性的测试，关注终身学习能力，包括具备知识技能基础、学习的内在动力（有兴趣）以及自主学习的能力（掌握学习方法和策略）。所以PISA不是评价学生学过什么特定的知识和技能，而是评价学生对关键概念的整体理解，学生如何用已经掌握的知识和技能解决新情境中的问题，同时还研究学生的学习策略，跨学科的问题解决能力，以及他们对不同议题的兴趣。
PISA评价教育系统是否能够培养合格的公民，而不是培养科学家、数学家、文学家，所以它涉及的学科知识要求是基础的，提问的视角是结合生活情境的而不是单纯从学科知识体系出发的。要正确回答PISA试题，学生只需理解基本概念，灵活运用他们已经掌握的知识和能力，无需特别准备。
PISA所测评的素养是随社会经济的发展而变化的。过去，学校的教育目标是让学生能读会写，素养（literacy）的原意指的是读写能力，如今，作为合格的公民，不仅需要掌握读写能力，还需要科学素养、计算机素养、问题解决能力等，所以，PISA测评的素养是随着社会需要的发展而不断地发展的，一是体现为认知测评领域的扩展，在阅读、数学、科学等核心领域的基础上，又增加了问题解决、计算机辅助阅读和数学测试；二是对态度和参与度的测评也在不断发展，例如在对阅读参与度和学习策略的测评中，2000年评价了个人阅读参与度和学习策略的运用，2009又增加了学校阅读参与度和元认知策略。
二、PISA的功能PISA的主要目的是改进教育政策，而不是筛选学生。由于PISA实施过程严格，结论都是基于证据的，所以发展成为一项权威的研究，对各国教育政策产生了很大的影响，体现在以下几个方面：
倡导多维教育质量观。PISA使我们能够以全球视野来审视教育的质量、公平、参与度和效益。PISA不是简单地报告学生的成绩（常模参照），还分析主要测评领域的能力结构，将学生的阅读、数学、科学素养区分为若干精熟度水平，描述达到每个水平的学生能够做什么（标准参照），提供更加全面具体的质量信息。学生的学习质量不仅指当前掌握的认知能力，更是能应对未来社会挑战的终身学习能力，所以PISA通过问卷调查，评价学生的学习参与度（投入度、态度）、学习兴趣和学习策略。从整个教育系统来看，好的教育系统不仅质量要高，而且应该是公平的，因此，PISA研究不同社会经济背景的学生能否获得同样的学习机会和教育资源、能否达到同样的能力水平。此外，PISA还研究教育投入和资源分配与PISA成绩的关系，分析教育的成本效益。这种多维的质量评价框架已经在各个参与国家（地区）推广。
树立新的质量标杆。PISA给出了各国平均成绩的排名，使各国教育决策者从别国的成绩中反思自己的政策，寻找更有效能的教育政策。他们把PISA结果用于以下这些方面：比较本国与其他国家学生的知识和技能，发现本国教育的问题和差距；衡量教育的进步程度，让政策制定者了解本国取得的成绩与其他国家相比较如何；用其他国家取得的成绩作为标杆，来设置教育改进的基准；学习和研究其他国家好的做法，寻找改进教育的政策措施和改革路径。
提供政策借鉴。PISA不仅要向政策制定者描述结果，而且还要提供改进的方法和过程性的信息，使成功的过程变得透明。例如，为什么有的国家成绩高于其他国家？为什么有些学生成绩好，大多数人成绩一般，而有些学生成绩差？这些差异能够用社会特点、家庭、学校资源、教学实践和社群的差别来解释吗？仅仅有测验结果并不能回答这些问题，所以，PISA不只是对成绩的统计分析，还要收集其他数据，包括教育系统、学校、家庭、学生个人特征等方面对成绩的影响，使政策制定者能够对影响学业结果的因素和模式作出推断，知道为什么会产生这样的成绩，怎样改进。
三、PISA的借鉴PISA结果已经产生广泛的影响，在此不再赘述。需要指出的是，PISA在项目管理方面也为我国开展教育质量监测工作提供了很好的借鉴。
制定精细的技术标准和实施手册。为了保证PISA结果的真实性，OECD制定了19个方面57条PISA技术标准，对组织机构、工作人员、项目工作会议和培训、抽样、测试语言、测试参与率、翻译、考场、保密工作、材料的印刷、评卷、数据提交、数据管理、材料保管等工作做了严格细致的规定。PISA国际专业协作组织开发了系列实施手册和工作表格，各参与国（地区）与OECD及PISA国际专业协作组织之间要签订多种严格的协议或计划。这些标准、手册、表格、协议和计划是保证PISA实施质量和数据可靠性的关键。
采用抽样方法减轻学生和学校的负担。由于PISA的研究目的主要是改进教育政策，是对教育系统的整体评价，无需对个体的学校和学生做出评价，因此参加测试的学生和学校都采用抽样的方法选取，只需很小样本就能够充分反映总体的情况，大大减轻了学校和学生的负担。PISA测试涵盖的内容很广，涉及的题目较多，如果每个学生全部完成需要约6.5个小时，这不仅对于只有15岁的少年来说是个沉重的负担，而且可能会由于学生的疲劳而影响到测验的效度。PISA项目采用了矩阵抽样方法，每个考生只需完成全部试题中的一部分，然后将这些考生的答题信息合成之后评价学生总体在全部试题上的作答情况。
区域和国家层面的教育质量监测工作最主要的目的是了解整体的教育质量，因此在参加的对象和测试的题目上都可以采取抽样的方法。所有学校和学生都参加的统考统测不仅在人力物力和时间上加重了学校和学生的负担，更大的负面作用在于使质量监测变为高利害的考试，使学校教育过多地受到外部评价标准的影响。
从命题程序和技术上保证命题的科学性和公平性。PISA试题来源广泛，各个参与国家（地区）都可以提交试题，但不管是谁命题，都必须严格按照命题框架和试题提交指南的要求，使得评价背景、知识内容、能力和难度上都有广泛的覆盖面，并且考虑各方面内容的平衡。这样设计出来的题目风格、质量、难度要求都是一致的。而我们往往凭命题者个人的经验和水平来保证质量；以个人习惯来命题，没有一定的程序；出题目的人换了，风格就不一样。从PISA试题评审和试测工作中我们认识到，要尽可能用严格的管理程序和测量技术保证试题的规范性、科学性、公平性和可比性，减少命题专家个人因素的影响。
对学生的能力做出最佳估计。PISA的评分标准是根据学生的回答发展出来的，而不是由教师拟定的标准答案，体现了学生的视角和思维水平，而不是用教师的思维水平来要求学生。PISA评分的基本原则是对学生能力做出最佳估计，根据学生在多大程度上能够证明自己回答该问题的能力，把学生分为“满分”，“部分分数”和“零分”三个等级，而不是“正确”和 “不正确”。这样做鉴于两个主要原因。第一，一些问题没有所谓“正确”的答案。相反，评分建立在一个学生如何证明自己对该文章或问题理解回答的基础上。第二，“满分”不需要包括完全正确或者完美答案。所以评分者不能碰到一点点小错误就随便扣分，而要看学生实际上是不是理解了。例如，PISA阅读开放题允许有范围广的、多样的、个性化的回答和不同的观点，学生得分的依据是运用文章中的材料证明自己观点的能力，而不在于学生的立场。在不影响阅卷者对答案意思理解的情况下，可以忽略学生在阅读测试中的语法错误和错别字。这样有利于学生发表独立的见解，培养创造性。