テストの妥当性とか

togetter.com

togetter.com

ネット上の議論を見て思ったことを自分の関心に結びつけ我田引水的に書いてみようのコーナー。

議論の概要をざっくりと書くと、鶴亀算を習ったあとの算数のテストで、連立方程式を使って答えを出したら✕がつけられたことから議論が始まっています。その後、テストにおいて式の部分にどの程度の途中式を書けば◯なのかなどにまで議論が及んでいます。

最初の議論では、とある高校教師Sさんは「鶴亀算を教えた際の問題演習」なので、鶴亀算以外の解法は✕にすべきと主張しており、積分定数さんは、解法についての指定がないのであれば◯にすべきだと主張しています。議論の進行を見ているとお互いの主張が平行線のまま噛み合っていない印象があります。

わたしは、算数教育についても算数の評価法についても全くの門外漢なのですが、教育評価や心理測定を学んでいる立場から思ったことを書きます。

今回の議論が（やや不毛で）噛み合わないものになっている原因は、テストの構成概念（construct）と妥当性（validity）についての認識がズレているからだと思います。

構成概念とは、テストが測ろうとしているもので、通常直接観察できないものです。例えば、漢字力や英語力のようなものが構成概念です。こうしたものを測定しようとしたときに、それらは直接目に見えないので、私たちはテストを使ってそれを測る訳です。

妥当性とは、テストが測りたいもの（つまり構成概念）を正しく測れているかどうかです。例えば、漢字の書きの力を測りたいのに、漢字の読みの問題だけで構成されているテストを実施したとすると、そのテストは測りたいもの（漢字の書きの力）を測れていないので、妥当性が低いということになります。

しかし、ここで測りたいものが漢字の読みの力だったとすれば、そのテストは妥当性が高いということになります。テストに妥当性があるかどうかというのは、テスト単体では決まらずテストを使用する状況や文脈に左右されるということです。

さて、これらのことを念頭に置いて、今回の議論について考えてみます。

とある高校教師Sさんは、このテスト・問題を使って「鶴亀算の解法を理解しているか」を測りたいと思っています。それに対して、積分定数さんは、このテスト・問題からは「（どの解法を使うかは自由で）正しい答えにたどり着けるか」しか測れないと主張しています。つまり、積分定数さんは高校教師Sさんのテストの用法の妥当性の低さを指摘しているわけです。

とある高校教師Sさんが測りたいと思っている「鶴亀算の解法の理解」を測るのに、この問題が妥当かということですが、これについてはあまり妥当でないと私も思います。というのも、積分定数さんが言うように、解法を限定する注意書きがない限り鶴亀算以外の解法を使って答をだすことができるので、もし「鶴亀算の解法の理解」を測りたいのであれば、問題の形式を変えたり、問題に解法を限定する但し書きをつける等の改変が必要になると思います。

妥当性が低いということは、測りたいものが測れないということです。例えば、連立方程式で解いた答を仮に◯とつけた場合には、その児童生徒が「鶴亀算の解法を理解」しているかについての情報を得ることはできません。連立方程式での解法を知っていることは、鶴亀算の解法を知っていることを保証しないからです。逆に、✕とつけた場合でも同じで、その児童生徒が「鶴亀算の解法を理解」しているかについての情報を得ることができません。

もし、「鶴亀算の解法の理解」を測りたいのであれば、このテストを妥当性が高いものに変える必要があります。例えば、鶴亀算の途中式の空所補充というような形にするなどです。こうすることで、特定の解法を使って答を出す必然性が生まれ、鶴亀算の解法を理解しているにも関わらず✕をつけられてしまう不幸な例がなくなると思います。

結局、その後にとある高校教師Sさんが以下のツイートで言っているとおりで、テストの妥当性の低さに話が集約されるのだと思います。

結局、この議論が噛み合わないのは、最初から「式と答えを書かせるスタイルに問題があって、考え方を書くべきであるので、私は式ではなくて考え方を書きます。だから８００の５割は８００÷２です」という主張であれば良かったのではないかということです。それなら私も「そうですか」となるでしょう。

— とある高校教師Ｓ (@hellohellock) 2016年11月10日

ちなみに、鶴亀算が何なのか分からず今回ググって理解しましたが、これって小学校のときにみんなやるものなんでしょうか。わたしの記憶に一切ないのは何故・・・

テストの科学―試験にかかわるすべての人に