Methods Matter: Improving Causal Inference in Educational and Social Science Research（方法が重要である：教育・社会科学研究における因果推論の改善）

引用

Murnane, R. J., & Willett, J. B. (2011). Methods Matter: Improving Causal Inference in Educational and Social Science Research. Oxford University Press.

章の要約

本書は全14章からなる。著者はいずれもハーバード大学教育大学院の教員で、本書は上級の博士課程ゼミから生まれたものだと述べている。方法は常に具体的な文脈の中で教えるという方針で、教育学などの分野で公刊された実証研究を使って各手法を導入し、説明し、例示する。また、高度な数学ではなく、概念的・図示的・データに基づく説明を選んだと述べており、技術的な素養が深くない研究者でも手法を使えるようにすることを意図している。

第1–3章：教育研究の課題／理論の重要性／因果的な問いに答えるための研究設計

冒頭の各章は問題を設定する。著者が挙げる動機は、教育政策の判断材料となるはずの量的研究の多くが、原因と結果についての信頼できる主張を支えられないという点である。第2章は理論の役割を論じ、第3章は因果的な問いに実際に答えられるよう研究を設計する方法に移る。

第4–7章：研究者が設計するランダム化実験／ランダム化実験の設計・実施・解釈の難しさ／統計的検出力とサンプルサイズ／参加者が既存の集団にまとまっている場合の実験研究

この4章は、研究者自身が設計する実験を扱う。ランダム化の論理から、実験を実施し解釈する際の困難へ進み、続いて統計的検出力とサンプルサイズを取り上げ、最後に学校でよくある、個々の児童生徒ではなく学級や学校全体が処遇に割り当てられる状況を扱う。集団単位のランダム化は、著者が非専門家にも手が届くようになった主題として挙げるものの一つである。

第8–11章：「おそらく外生的」な処遇の変動をもたらす自然実験の利用／回帰不連続デザインによる因果効果の推定／操作変数推定の導入／準実験における処遇効果を回復するための操作変数推定の利用

本書の中核は準実験的デザインである。ランダム化ができなくても、結果とは無関係と考えられる形で処遇の差が生じている場合に使える方法を扱う。第8章は自然実験、第9章は回帰不連続、第10–11章は操作変数推定で、まず考え方を導入し、次に準実験における処遇効果の回復に適用する。

第12–14章：非実験データから推定した処遇効果におけるバイアスへの対処／長い探究から得られる方法論上の教訓／実質的な教訓と新たな問い

第12章は、非実験データしかない場合のバイアスを扱う。傾向スコアは、著者がこの種のデータについて取り上げる方法の一つである。最後の2章は、因果的な問いに答えようとする長い取り組みから得られる方法論上の教訓と、実質的な教訓および残された新たな問いをまとめる。

主要概念

第1–3章：因果的な問いの設定

• 因果推論：ある介入が結果を生んだのかどうかを、単なる関連から区別して判断すること。
• 理論：第2章は理論の重要性、すなわちなぜ介入が効くはずなのかという説明が、研究上の問いを立てるうえで果たす役割を扱う。

第4–7章：ランダム化実験

• ランダム化実験：参加者を偶然によって条件に割り当て、処遇前の集団を比較可能にする方法。
• 統計的検出力とサンプルサイズ：効果を検出するために必要な単位の数を計画すること。
• 集団にまとまった参加者：学級や学校といった既存の集団がランダム化の単位となるデザイン。

第8–11章：準実験的デザイン

• 自然実験：処遇の変動が研究者の統制の外で生じるが、おそらく外生的とみなせる状況。
• 回帰不連続：処遇を受ける者を決める明確な基準値から因果効果を推定する方法。
• 操作変数推定（IVE）：処遇には影響するが結果には直接影響しない変動を使って処遇効果を回復する方法。

第12–14章：観察データと教訓

• 非実験的推定におけるバイアス：処遇が無作為に割り当てられていない場合の中心的な問題。
• 傾向スコア：非実験データによる比較を調整するために著者が取り上げる方法の一つ。

批判的分析

長所

• 実際の研究を通して方法を教える。 著者は、各手法を教育学などの分野の実証論文に埋め込むこと、そして米国内外の数多くの研究をめぐる論争を掘り下げて論じることを方針として述べている。読者は、デザインが実際の証拠の上で成功し、また失敗する様子を見ることができる。
• 高度な数学ではなく概念中心。 ウィレットは、技術的な背景が深くない研究者でも手法を使えるように、概念的・図示的・データに基づく説明に頼っていると述べている。そのため、専門的な計量経済学の教科書よりも取り組みやすい。
• 一貫した設計の階段。 目次は、ランダム化実験から自然実験、回帰不連続、操作変数を経て、非実験データの調整へと進む。各デザインは、直前のデザインの限界への答えとして導入される。
• 教育実践に根ざした成り立ち。 本書は、十数年にわたる上級の博士課程ゼミから生まれており、ゼミでの利用に向いている。

短所

• 範囲は量的・因果的な問いに限られる。 本書が扱うのは、介入が結果をもたらしたかどうかという一種類の問いである。記述的研究、質的研究、理論構築型の研究は対象外である。
• 統計学の素養を前提とする。 高度な証明は出てこないが、検出力、クラスター化、操作変数、傾向スコアといった主題は、回帰分析を含む統計学の既習を前提としている。
• 2011年刊行という時間的制約。 以後、手法やソフトウェアは発展しているため、これらのデザインをめぐる最近の議論は他の文献で補う必要がある。

コースにおける位置づけ

教育研究法のコースの中で、『Methods Matter』は因果推論に特化した専門的な扱いにあたる。クレスウェルとゲッターマンの『Educational Research』は、量的・質的・混合研究法のデザインを一つの枠組みで扱う段階的な入門書であり、コーエン、マニオン、モリソンの『Research Methods in Education』は、この分野全体にわたる包括的な参考書兼教科書である。いずれも、マーネインとウィレットが前提とする全体像を与えてくれる。ベル、ウォーターズ、ジョンソンの『Doing Your Research Project』とゲイリー・トーマスの『How to Do Your Research Project』は、初めて小規模な研究に取り組む人のための段階的な手引きで、想定読者が異なる。

ティスデル、メリアム、スタッキー＝ペイロットの『Qualitative Research』は自然な対になる一冊である。『Methods Matter』が「うまくいったのか」を問うのに対し、質的研究は参加者がそれをどう理解し経験したかを問う。二冊を併読すると、それぞれのデザインが何を主張でき、何を主張できないかがわかる。

本書の使い方

本書は、博士課程や上級の修士課程の学生、教育プログラムや政策の評価を読む、あるいは依頼する研究者に向いている。事前に、研究方法論の科目と、重回帰までを含む統計学の科目を履修しておくのが妥当な準備である。

実践的な読み方は次のとおり。

• 中核： 枠組みとして第1–3章、続いて基準となるランダム化実験の第4–5章。他のすべてのデザインは、これを基準に評価される。
• デザイン別： 検出力の計算や、学級・学校を単位とする研究を計画するときは第6–7章を読む。第8–11章は、操作変数が適用の前に導入されるので、順番に読む。
• 締めくくり： 非実験データについての第12章と、総括としての第13–14章。

各章は、そこで使われている公刊研究とあわせて読み、どのデザインについても「因果的な主張が成り立つためには、どのような仮定が満たされなければならないか」を問うこと。自分の分野の研究でこの問いを練習することが、本書の最も有効な使い方である。