エフェクトサイズに関して

　『学習の本質』を読んでいると、形成的評価（formative assessment）や共同学習（collaborative learning）による学習効果を説明するのに「エフェクトサイズ」という値が示されている。これがどのような量なのか今いちわからない。

　本書の中で示されている定義は次のようなものである。

［Cohen（1988）によれば］エフェクトサイズとは母集団の得点範囲を１つの尺度で分割した２つのグループ、たとえばフィードバックを与えられた集団とそうでない集団の平均値の分散である。p.163

 エフェクトサイズとは、事前テストの差を調整した後、実験群が対照群を上回っている標準偏差の比率を指す。p.206

 Cohen（1988）は文献リストから漏れてしまっているが、おそらく

Statistical Power Analysis for the Behavioral Sciences

 を指すものと思われる。少し調べてみたところ、Jacob Cohen という人が心理統計におけるエフェクトサイズの利用を先導している人物らしい。

　ふつう実験群と対照群を用いた統計分析を行うのならば、何らかの実験的操作を行った後にテストを行い、それぞれの群が得た結果の平均値の差をt検定するというのが馴染む。よく「有意差が出た」というのは、それを指して言っているはずだ。その基本的バックボーンは、帰無仮説検定である。エフェクトサイズは、なんで分散だとか標準偏差が登場するのかがよく分からない。

　しかし、最近の心理統計の動向として、帰無仮説検定ではなく効果量（effect size）を重視するようになっているらしい。基礎的な欧米の論文が次のページで紹介されている。

効果量メモ（効果サイズ，エフェクトサイズ，effect size） - researchmap

そこでも紹介されているが、日本語の論文だと水本篤・竹本理（2008） 「研究論文における効果量の報告のために」というものがある（ http://www.mizumot.com/files/EffectSize_KELES31.pdf ）。そこには、一般的に用いられる効果量として、Cohen's D があり、それは「グループごとの平均値の差を標準化した効果量」であると書いてある。分散や標準偏差が出てくるのは、ようは標準化することが問題だからのようだ。標準化された効果量の利点は、t検定や分散分析のようにサンプルサイズが大きくなると有意になりやすいということがないこと、標準化されているため測定単位が異なる研究のあいだでも実験結果を比較できるためメタアナリシスができること、などが挙げられている。『学習の本質』でも、エフェクトサイズを算出したレビュー論文が紹介されている。例えば、Nyquist（2003）は、大学学齢者に対するフィードバックの効果について3000もの研究をレビューした博論だが、その際、有意味な研究を選択する基準としてエフェクトサイズを算出できる情報を提供することが設定されており、それを満たした研究は86個に過ぎなかった（p.170; 

The benefits of reconstruing feedback as a larger system of formative assessment : a meta-analysis (Book, 2003) [WorldCat.org]）。研究事例の数が減ってでも、エフェクトサイズが出せることが重要視されているのである。

　こうした事情を詳しく説明したのが Cumming（2014）であるようだ

The New Statistics）。冒頭を読む限り、帰無仮説検定を用いた従来の統計分析から、新しい（エフェクトサイズに注目する）統計分析への移行を主張している。その際、これまでの研究の多くが「誤り」であったと喝破している。科学的研究の妥当性を高めるものとしてエフェクトサイズが注目されるようになったようだ。どうも第Ⅱ種の過誤と関係しているようである。まだ理解できていない。今後の要勉強課題が増えた。

　日本語の文献だと、

伝えるための心理統計: 効果量・信頼区間・検定力

 が参考になりそうである。どうもアメリカ心理学会の標準的なマニュアル（Publication Manual of the American Psychological Association）において、エフェクトサイズを用いることが奨励されているようだ。それは重要だ。

Publication Manual of the American Psychological Association, Sixth Edition