見えるデータ、見えないデータ、そして、見せないデータ。
「現場の声を聞け！」
会社の上司は口にします。
で、大抵行われるのがアンケート。
しかし、回答率が10％くらいですと、大多数の90％の声が反映されないことになります。
すると、上司が「これじゃあ意味ねえだろ！ 俺が聞いてやる！」と言い、何人かのかつての子飼いの部下たちに電話し、ヒアリング。
その後、「ほら、こんな意見が集まったぞ！」と言ってきました。
回答率10％の回答結果と、特定の上司の子飼いの部下の意見。
どっちが現場の声に近いんでしょうかね。
――――――――――――
書名：『ダークデータ: 隠れたデータこそが最強の武器になる』
著者：デイヴィッド・Ｊ・ハンド（著）、黒輪篤嗣（訳）
出版：河出書房新社（2021.02）
――――――――――――
著者はイギリスの統計学者。
データの裏にある隠れたデータ、「ダークデータ」を解説しています。
翻訳ものです。
原題は『DARK DATA Why What You Don't Know Matters』。
直訳すると『ダークデータ 知らないことがなぜ重要なのか』といった感じですね。
そもそも、ダークデータはなぜ生まれるのか？
著者はダークデータを分類します。
＜本文引用＞------------
以下が本書で紹介する5種類のDDタイプだ。それぞれの内容については、第10章であらためてまとめる。
DDタイプ1 「欠けていることがわかっているデータ」
DDタイプ2 「欠けていることがわかっていないデータ」
DDタイプ3 「一部の例だけを選ぶ」
DDタイプ4 「自己選別」
DDタイプ5 「重要なことを見落とす」
DDタイプ6 「あったかもしれないデータ」
DDタイプ7 「ときの経過とともに変化する」
DDタイプ8 「データの定義」
DDタイプ9 「データの要約」
DDタイプ10 「測定誤差と不確かさ」
DDタイプ11 「フィードバックループとつけ入り」
DDタイプ12 「情報の非対称性」
DDタイプ13 「意図的なダークデータ化」
DDタイプ14 「データの捏造または合成」
DDタイプ15 「データ外の外挿」
（本文より）
------------------------
うーん、結構、人為的というか、意図的にダークデータを生み出しているケースがありそうですね。
「欠けていることがわかっていないデータ」ではこんな事例を指摘しています。
＜本文引用＞------------
では次に、またそれとは違う種類のダークデータ（DDタイプ2「欠けていることがわかっていないデータ」）を見てみよう。
多くの都市で、路面にできる穴（ボットホール）が問題になっている。冬、路面の小さな割れ目に水が流れ込んで、凍り、膨張することで生じる穴だ。いったんできた穴は、自動車の通行でさらに広がっていく。そのような悪循環が進むと、やがて自動車のタイヤや車軸を破損させるほどの穴になってしまう。ボストン市は最新テクノロジーを使って、この問題の解決を図ろうと考え、スマートフォンのアプリを配布した。それはスマートフォンの加速度センサーで、ポットホールの上を走行したときの振動を検知すると同時に、GPSで自動的に市当局にポットホールの位置情報を送信できるアプリだった。
すばらしい！ おかげで道路管理者たちは、どこに行って道路の穴を修繕すればいいかがわかることになった。
これも現実の問題を解決するための、美しくてなおかつ安価な解決策に見える。最新のデータ分析技術が取り入れられてもいる。ただし盲点がひとつある。自動車や高価なスマートフォンの所有者は、富裕な地区に集中しやすいということだ。したがって、貧しい地区ほど、ポットホールが検知されず、肝心の位置情報が上がってこない恐れがある。ポットホールが完全に放置されてしまう地区も出てくるだろう。これではポットホールの問題を解決するどころか、むしろ社会の不平等を促進してしまう。（本文より）
------------------------
以前、Xの投稿で興味深い意見を見かけました。
それは「なぜ、年寄りは朝早く散歩しているのか？」に対する回答。
「それは、散歩している年寄りが生き残っているから」というもの。
散歩しない年寄りは、早々に退場しているといいうことなんですね。
意図的にデータを見せないことによって生まれるダークデータ。
まあ、これは詐欺に使われるようで。
その一つが「ポンジスキーム」。
投資詐欺ですね。
＜本文引用＞------------
ダークデータは「ポンジ・スキーム」という投資詐欺の手口でも核をなしている。詐欺師チャールズ・ポンジが1920年代に用いた手法であることからその名で呼ばれるが、ポンジがこのスキームを考案したわけではない。現に、その手口は19世紀のチャールズ・ディケンズの小説『マーティン・チャズルウィット』や『リトル・ドリット』でも描かれている。ポンジ・スキームでは潤沢な リターンを約束して、出資が募られるが、集めた金は実際には運用に使われない。新しい出資の一部を古い出資者に配当として支払うことで、あたかも運用で利益が出ているかのように見せかける。当然、いつかはこの手法は行き詰まる。経済状況の悪化などによって、新しい出資が得られなかったり、出資者たちに払い戻しを求められたりすれば、おしまいだ。投資会社の実態が白日の下に晒され、いかなる運用が行われていたかが明るみに出る。第１章で触れたマドフの詐欺は、ポンジ・スキームの一例だった。2008年の金融崩壊をきっかけに多くの投資家が払い戻しを求めた結果、集められた資金がすっかり消えていることが発覚した。このような詐欺を防ぐには、透明性を高めることが欠かせない。とりわけ出資者から集められた金がどのように使われているかを開示させる規制が肝心だ。（本文より）
------------------------
見せるデータと見せないデータ（＝ダークデータ）を作り、相手には徹底して見せるデータしか開示しない。
「データは噓をつかない」
なーんて、単純に考えてはいけないようですね。
◆頭の中でシンクロした他の完読作品
『誰もが嘘をついている ビッグデータ分析が暴く人間のヤバい本性』
――――――――――――
■読んだきっかけ：図書館
■読んで知ったこと：見えるデータ、見えないデータ、そして、見せないデータ。
■今度読みたくなった作品：『RCT大全 ランダム化比較試験は世界をどう変えたのか』アンドリュー・リー
――――――――――――
ダークデータ 隠れたデータこそが最強の武器になる - デイヴィッド・J・ ハンド, 黒輪篤嗣
この記事へのコメント