01 / 导读
导读
引用
Murnane, R. J., & Willett, J. B. (2011). Methods Matter: Improving Causal Inference in Educational and Social Science Research. Oxford University Press.
章节概要
全书共十四章。两位作者任职于哈佛大学教育研究生院，他们表示本书源自一门高阶博士研讨课，写作方式是把每种方法放在具体情境中讲解，借助教育及其他领域已发表的实证研究来引入、说明和示范。他们还表示，书中选择了概念性、图示性和基于数据的解释，而不是艰深的数学推导，以便技术背景不深的学者也能运用这些方法。
第1–3章：教育研究面临的挑战；理论的重要性；为回答因果问题而设计研究
开头几章提出问题。作者给出的写作动机是：许多本应为教育政策提供依据的量化研究，其实无法支持可信的因果陈述。第2章论述理论的作用，第3章转向如何设计研究，使因果问题真正可以被回答。
第4–7章：研究者设计的随机实验；设计、实施和从随机实验中学习的挑战；统计功效与样本量；参与者嵌套于既有群体时的实验研究
这四章讨论由研究者自己设计的实验。内容由随机化的逻辑，推进到开展和解释此类实验的困难，再到统计功效与样本量，最后是学校中常见的情形：被分配到处理条件的是整个班级或学校，而不是单个学生。按群体随机化是作者特别提到的、如今非专业读者也能掌握的主题之一。
第8–11章：利用自然实验获得“近似外生”的处理变异；用断点回归估计因果效应；工具变量估计入门；用工具变量估计恢复准实验中的处理效应
本书中段处理准实验设计，适用于无法随机化、但现实中产生了看似与结果无关的处理差异的情形。第8章介绍自然实验，第9章介绍断点回归，第10–11章讲工具变量估计，先讲思路，再应用于恢复准实验中的处理效应。
第12–14章：处理非实验数据估计的处理效应中的偏差；漫长探索的方法论教训；实质性教训与新问题
第12章处理只有非实验数据时的偏差问题。倾向得分是作者针对这类数据介绍的方法之一。最后两章回顾长期探索因果问题所得到的方法论教训，以及实质性教训和仍待回答的新问题。
核心概念
第1–3章：提出因果问题
- 因果推断：判断某项干预是否产生了某个结果，而不只是与之相关。
- 理论：第2章专门讨论理论的重要性，即对干预为何应当有效的解释，在提出研究问题时所起的作用。
第4–7章：随机实验
- 随机实验：通过抽签式的随机方式把参与者分配到不同条件，使各组在处理前具有可比性。
- 统计功效与样本量：规划需要多少单位才能检测出某个效应。
- 群体嵌套的参与者：以班级、学校等既有群体作为随机化单位的设计。
第8–11章：准实验设计
- 自然实验：处理差异产生于研究者控制之外、但可以认为近似外生的情境。
- 断点回归：利用决定谁接受处理的明确临界值来估计因果效应。
- 工具变量估计（IVE）：利用只影响处理、而不直接影响结果的变异来恢复处理效应。
第12–14章：观察数据与教训
- 非实验估计中的偏差：处理并非随机分配时的核心难题。
- 倾向得分：作者介绍的、用于调整非实验数据比较的方法之一。
评析
优点
- 通过真实研究来讲方法。 作者说明，他们把每种技术嵌入教育及其他领域的实证论文中，并深入讨论国内外多项研究所引发的争议。读者能够看到各种设计在真实证据上如何成功，又如何失败。
- 以概念为主，而非繁重的数学。 威利特表示，书中依靠概念性、图示性和基于数据的解释，使技术背景不深的学者也能使用这些方法，因此比专门的计量经济学教材更易入手。
- 设计层层递进。 目录由随机实验，经自然实验、断点回归、工具变量，进而到非实验数据的调整，每种设计都是针对前一种设计的局限而引入的。
- 源于教学。 本书源自一门持续十余年的高阶博士研讨课，适合在研讨课中使用。
局限
- 范围限于量化与因果问题。 本书只处理一类问题，即某项干预是否导致了某个结果。描述性研究、质性研究和理论建构型研究不在其范围内。
- 预设统计学基础。 书中虽无艰深证明，但功效、聚类、工具变量、倾向得分等主题都预设读者学过包括回归在内的统计学课程。
- 受2011年出版时间所限。 此后方法和软件都有发展，关于这些设计的新近讨论需要另行查阅其他文献。
在课程中的定位
在教育研究方法课程中，《Methods Matter》是专门讲因果推断的著作。克雷斯韦尔和格特曼的《Educational Research》是循序渐进的入门书，在同一框架下涵盖量化、质性和混合方法设计；科恩、马尼恩和莫里森的《Research Methods in Education》是覆盖整个领域的综合性参考书兼教材。两者提供的是默纳恩和威利特预设读者已有的整体图景。贝尔、沃特斯和约翰逊的《Doing Your Research Project》以及加里·托马斯的《How to Do Your Research Project》是为首次开展小型研究的人准备的分步指南，读者对象不同。
蒂斯德尔、梅里亚姆和斯塔基-佩罗的《Qualitative Research》是自然的对照：《Methods Matter》问的是某事是否奏效，质性研究问的是参与者如何理解和经历它。两本书并读，可以看清各种设计能够主张什么、不能主张什么。
如何使用本书
本书适合博士生和高年级硕士生，以及需要阅读或委托教育项目与政策评估的研究者。合理的准备是修过研究方法课程，并学过包括多元回归在内的统计学。
实用的阅读安排：
- 核心： 第1–3章作为框架，随后是第4–5章的随机实验，它是评判其他一切设计的标准。
- 按设计选读： 规划需要功效计算、或以班级学校为单位的研究时，读第6–7章；第8–11章应按顺序阅读，因为工具变量是先引入、后应用的。
- 收尾： 第12章讲非实验数据，第13–14章作为总结。
阅读各章时，请对照书中所用的已发表研究，并对每种设计追问：因果主张要成立，必须满足什么假设？在自己领域的研究上练习这个问题，是使用本书最有价值的方式。