Methods Matter: Improving Causal Inference in Educational and Social Science Research（方法很重要：改善教育與社會科學研究的因果推論）

引用

Murnane, R. J., & Willett, J. B. (2011). Methods Matter: Improving Causal Inference in Educational and Social Science Research. Oxford University Press.

章節概要

全書共十四章。兩位作者任職於哈佛大學教育研究生院，他們表示本書源自一門高階博士研討課，寫作方式是把每種方法放在具體情境中講解，藉助教育及其他領域已發表的實證研究來引入、說明和示範。他們還表示，書中選擇了概念性、圖示性和基於資料的解釋，而不是艱深的數學推導，以便技術背景不深的學者也能運用這些方法。

第1–3章：教育研究面臨的挑戰；理論的重要性；為回答因果問題而設計研究

開頭幾章提出問題。作者給出的寫作動機是：許多本應為教育政策提供依據的量化研究，其實無法支援可信的因果陳述。第2章論述理論的作用，第3章轉向如何設計研究，使因果問題真正可以被回答。

第4–7章：研究者設計的隨機實驗；設計、實施和從隨機實驗中學習的挑戰；統計功效與樣本量；參與者巢狀於既有群體時的實驗研究

這四章討論由研究者自己設計的實驗。內容由隨機化的邏輯，推進到開展和解釋此類實驗的困難，再到統計功效與樣本量，最後是學校中常見的情形：被分配到處理條件的是整個班級或學校，而不是單個學生。按群體隨機化是作者特別提到的、如今非專業讀者也能掌握的主題之一。

第8–11章：利用自然實驗獲得「近似外生」的處理變異；用斷點迴歸估計因果效應；工具變數估計入門；用工具變數估計恢復準實驗中的處理效應

本書中段處理準實驗設計，適用於無法隨機化、但現實中產生了看似與結果無關的處理差異的情形。第8章介紹自然實驗，第9章介紹斷點迴歸，第10–11章講工具變數估計，先講思路，再應用於恢復準實驗中的處理效應。

第12–14章：處理非實驗資料估計的處理效應中的偏差；漫長探索的方法論教訓；實質性教訓與新問題

第12章處理只有非實驗資料時的偏差問題。傾向得分是作者針對這類資料介紹的方法之一。最後兩章回顧長期探索因果問題所得到的方法論教訓，以及實質性教訓和仍待回答的新問題。

核心概念

第1–3章：提出因果問題

• 因果推斷：判斷某項干預是否產生了某個結果，而不只是與之相關。
• 理論：第2章專門討論理論的重要性，即對干預為何應當有效的解釋，在提出研究問題時所起的作用。

第4–7章：隨機實驗

• 隨機實驗：通過抽籤式的隨機方式把參與者分配到不同條件，使各組在處理前具有可比性。
• 統計功效與樣本量：規劃需要多少單位才能檢測出某個效應。
• 群體巢狀的參與者：以班級、學校等既有群體作為隨機化單位的設計。

第8–11章：準實驗設計

• 自然實驗：處理差異產生於研究者控制之外、但可以認為近似外生的情境。
• 斷點迴歸：利用決定誰接受處理的明確臨界值來估計因果效應。
• 工具變數估計（IVE）：利用隻影響處理、而不直接影響結果的變異來恢復處理效應。

第12–14章：觀察資料與教訓

• 非實驗估計中的偏差：處理並非隨機分配時的核心難題。
• 傾向得分：作者介紹的、用於調整非實驗資料比較的方法之一。

評析

優點

• 通過真實研究來講方法。 作者說明，他們把每種技術嵌入教育及其他領域的實證論文中，並深入討論國內外多項研究所引發的爭議。讀者能夠看到各種設計在真實證據上如何成功，又如何失敗。
• 以概念為主，而非繁重的數學。 威利特表示，書中依靠概念性、圖示性和基於資料的解釋，使技術背景不深的學者也能使用這些方法，因此比專門的計量經濟學教材更易入手。
• 設計層層遞進。 目錄由隨機實驗，經自然實驗、斷點迴歸、工具變數，進而到非實驗資料的調整，每種設計都是針對前一種設計的侷限而引入的。
• 源於教學。 本書源自一門持續十餘年的高階博士研討課，適合在研討課中使用。

侷限

• 範圍限於量化與因果問題。 本書只處理一類問題，即某項干預是否導致了某個結果。描述性研究、質性研究和理論建構型研究不在其範圍內。
• 預設統計學基礎。 書中雖無艱深證明，但功效、聚類、工具變數、傾向得分等主題都預設讀者學過包括迴歸在內的統計學課程。
• 受2011年出版時間所限。 此後方法和軟體都有發展，關於這些設計的新近討論需要另行查閱其他文獻。

在課程中的定位

在教育研究方法課程中，《Methods Matter》是專門講因果推斷的著作。克雷斯韋爾和格特曼的《Educational Research》是循序漸進的入門書，在同一框架下涵蓋量化、質性和混合方法設計；科恩、馬尼恩和莫里森的《Research Methods in Education》是覆蓋整個領域的綜合性參考書兼教材。兩者提供的是默納恩和威利特預設讀者已有的整體圖景。貝爾、沃特斯和約翰遜的《Doing Your Research Project》以及加里·托馬斯的《How to Do Your Research Project》是為首次開展小型研究的人準備的分步指南，讀者物件不同。

蒂斯德爾、梅里亞姆和斯塔基-佩羅的《Qualitative Research》是自然的對照：《Methods Matter》問的是某事是否奏效，質性研究問的是參與者如何理解和經歷它。兩本書並讀，可以看清各種設計能夠主張什麼、不能主張什麼。

如何使用本書

本書適合博士生和高年級碩士生，以及需要閱讀或委託教育專案與政策評估的研究者。合理的準備是修過研究方法課程，並學過包括多元迴歸在內的統計學。

實用的閱讀安排：

• 核心： 第1–3章作為框架，隨後是第4–5章的隨機實驗，它是評判其他一切設計的標準。
• 按設計選讀： 規劃需要功效計算、或以班級學校為單位的研究時，讀第6–7章；第8–11章應按順序閱讀，因為工具變數是先引入、後應用的。
• 收尾： 第12章講非實驗資料，第13–14章作為總結。

閱讀各章時，請對照書中所用的已發表研究，並對每種設計追問：因果主張要成立，必須滿足什麼假設？在自己領域的研究上練習這個問題，是使用本書最有價值的方式。