「適切なばらつき」が出るように作る「ウソデータ」。
会社ではよくデータをグラフ化します。
データによっては、違いを際立たせるために軸の設定を調整することもあります。
ある時、そんな工夫をしてグラフを作成したところ、上司から「おい、このグラフだとなんだかすごく変化しているように見えるから、直してくれないか？」と指摘されました。
もちろん、サラリーマンである私は言われた通りにグラフを修正しました。
すると今度は別のグラフに対して、「おい、このグラフだとなんだか全然変化していないように見えるから、直してくれないか？」と言われました。
もちろん、サラリーマンである私は言われた通りにグラフを修正しました。
こうして、ある資料の同じページには、軸の最小値が0から始まるグラフと、10,000から始まるグラフが、何の違和感もなく（？）仲良く同居することになったのです。
――――――――――――
書名：『「誤差」「大間違い」「ウソ」を見分ける統計学』
著者：デイヴィッド・サルツブルグ（著）、竹内惠行（訳）、濵田悦生（訳）
出版：共立出版（2021.07）
――――――――――――
著者は元米ファイザー社中央研究所上級研究員で統計コンサルタント。
統計にまつわる「誤差」「大間違い」「ウソ」を紹介します。
翻訳ものです。
原題は『Errors, Blunders, and Lies: How to Tell the Difference』。
直訳すると『間違い、失態、そして嘘：その違いを見分ける方法』といった感じです。
アンケートの質問。
――――――――――――――――――――
あなたは万引きをしたことがありますか？
あなたは人をいじめたことがありますか？
――――――――――――――――――――
なかなか本音の回答を回収することは難しそうです。
人は見栄を張ったり、いい人を装うもの。
私自身、会社で無記名アンケートと称した本音を求める調査が来ますが、残念ながら、本音で答えたことはありません。
しかし、こうしたアンケート結果から正しいデータ（本音の割合）を見出すことができる手法を、本書は紹介しています。
それが「ランダム化回答法」です。
＜本文引用＞------------
いま、ある高校の生徒たちの中で、（飲酒や万引きのような）違法行為や反社会的行為を行ったことのある割合を調査したいとする。彼らに単に尋ねただけで、正直な回答が得られることは難しいであろう。しかし、「ランダム化回答法」というテクニックがある[1]。
適切な調査に向けて生徒のサンプルを選び、次の問いかけで調査を行うものとしよう。
--------------------------------------------------
これからあなたに二つの質問をします。一つは答えたくないものかもしれませんが、もう一つは当たり障りのないものです。その質問は
1. あなたは先月飲酒や万引きをしましたか？
2. あなたはこの町で生まれましたか？
これらの質問のうちどちらかに「はい」か「いいえ」で答えてください。ここにー組のカードがあります。確認してもらってもよいですし、好きなだけシャッフルしてもらっても構いません。その後、一枚のカードを引いてください。私に見せる必要はありません。そのカードがもしクイーンであれば2番目の質問に答えてください。違うカードであれば、1番目の質問に答えてください。最後に引いたカードを戻し、シャッフルしておいてください。
--------------------------------------------------
（本文より）
------------------------
こうした「見栄」や「嘘」の混じった回答から、正しい結果を得るにはどうしたらいいのか？
＜本文引用＞------------
調査者がこの生徒から得たものは「はい」か「いいえ」のみである。それは、調査の段階で二つの質問のうち、どちらに答えたのか知らないからである。ここから、どうやってこの違法行為をした生徒の割合を知ることができるのであろうか？ ここで、簡単な数学的モデルを作ろう。
Prob{回答は「はい」} = πp1 + （1 - π）p2 （12.2）
ただし、p1はこの町で生まれた確率で、p2は違法行為を行った確率であり、πは一組のカードからクイーンを引く確率である。
このとき、一組のカードにクイーンは4枚なので、
π = 4/52= 1/13
であり、p1はこの学校の生徒の中でこの町で生まれた人数を調べることから得られる。
この調査で「はい」と回答した割合を計算することによって、目的である違法行為をしたという割合を推定することができるのである。
仮に「はい」と答えた生徒の割合が43％で、学校の生徒の中でこの町で生まれた生徒が70％であるとしよう。
そうすると、式（12.2）から
0.43= 1/13 × 0.70 + （12/13）× p2
p2 = 0.408
が求まる。回答する生徒がどちらの質問を選んだかを知ることなく、違法行為もしくは社会的に受け入れられない行為を行った学生の割合が約41％であることを得ることができるのである。（本文より）
------------------------
これは、応用できそうですね。
以前読んだ『心理学の７つの大罪――真の科学であるために私たちがすべきこと』。
有意性が出るようなサンプルデータを使って仮説検証を行う「p値ハッキング」。
その結果を見てから、それが最初に立てた仮説だったと言い張る「HARKING（ハーキング）」。
こちらの作品では、そうした様々な「ウソ」の手法が紹介されていました。
一方、本作で紹介されているのは、データそのものが「ウソ」であるというケースです。
＜本文引用＞------------
そんな巧妙なうそつきの例としては、英国の教育心理学者のシリル・バー卜卿（Sir Cyril Burt, 1883-1971）が20世紀前半に行った研究がある（参考文献[1] を参照文献を参照せよ）。パートは、生まれてから離ればなれになった一卵性双生児のグループを追跡することによって、彼のキャリアを築いた。そんな一卵性双生児が成長した後の知能検査の結果を研究することによって、生まれ持った気質は育て方よりも重要である、と結論付けた。異なる家庭（ときには異なる国）で育ったにもかかわらず、一卵性双生児の2人の知能検査の結果はどれも、異なる環境で育った子供たちによる結果よりもより似通っていたのである。バートの研究の結果、英国政府は、11歳の子供たちを対象とする知能検査を使って、どの子供たちがより高等教育へ進学し、どの子供たちが手に職をつける訓練をするかを指定するようになった。
1971年のバートの死後、いくつかの疑問を解消するために彼の共著者に会うことが試みられた。彼の論文はいつも女性の共著者たちがいて、検定や作表を手伝っている女性たちだろうと思われていたのだが、その女性たちを探し出すことはできなかった。
バートの出版された研究に、どれほど偽造が含まれていたかについてはまだ議論の余地があるけれども、多くの批評家は、これらの共著者たちは存在しなかったと結論付けた。しかし批評家たちは、彼の業績において偽造された共著者名を使い続けたことを問題にし、生まれてすぐ離別した一卵性双生児を追跡しておらず彼のデータがすべて偽造されたものであったと主張した。（本文より）
------------------------
この「ウソデータ」がなかなか見破れなかった理由は、データに「適切なばらつき」があったこと。
本作では、このシリル・バートが行った「ウソ」の具体的なテクニックが紹介されています。
＜本文引用＞------------
とはいえ、彼の論文で示されたデータは正真正銘のように見えた。適切なばらつきもあった。ときどき同じデータセットが彼の異なる論文で異なる状況を説明するのに繰り返し使われているけれども、ランダム性に対する様々な検定もパスした。そうこうするうち、調査員たちはバートの本棚に、多くのページに印のつけられた1冊の年鑑を見つけた。パートはその年鑑から様々なデータをコピーし、データの小数位を変更することで正しい範囲にデータが入るようにしていたのである。
私が特定できた偽造者の中では、シリル・バートほど洗練されたデータ造者はいなかった。私の経験では、適切なばらつきのなさがうそつきデータの大きな特徴なのである。（本文より）
------------------------
「適切なばらつき」が現れるように、計算して「ウソデータ」を作っていたんですね。
シリル・バートが活躍したのは20世紀で、1946年（当時63歳）に心理学者として初めてナイトの称号が授与されたそうです。
心理学のデータに関する疑惑や問題は、すでにこの頃から存在していたんですね。
◆頭の中でシンクロした他の完読作品
『「誤差」「大間違い」「ウソ」を見分ける統計学』
『心理学の７つの大罪――真の科学であるために私たちがすべきこと』
――――――――――――
■読んだきっかけ：Amazon
■読んで知ったこと：「適切なばらつき」が出るように作る「ウソデータ」。
■今度読みたくなった作品：『データ分析失敗事例集: 失敗から学び、成功を手にする』尾花山和哉ほか
――――――――――――
「誤差」「大間違い」「ウソ」を見分ける統計学 - デイヴィッド・サルツブルグ, 竹内 惠行, 濵田 悦生
