【偶然】の統計学 David J. Hand 2016.4.1.

2016.4.1.　【偶然】の統計学

The Improbability Principle　

～　Why Coincidences, Miracles, and Rare Events Happen Every Day　　2014

著者　David J. Hand　インペリアル・カレッジ・ロンドン数学科名誉教授。ウィントン・キャピタル・マネジメントの首席科学アドバイザー。王立統計学会前会長

訳者　松井信彦　翻訳家。1962年生まれ。慶應大大学院理工学研究科電気工学専攻前期博士課程(修士課程)修了

発行日           2015.8.20.　初版印刷　　8.25.　初版発行

発行所           早川書房

ロトで連続大当たり。2回連続で雷に打たれる。3大会連続でホールインワン達成。暗殺の夢を見た後に暗殺されたリンカーン。10万年に1度しかないはずの金融危機・・・・・到底あり得ないと思われ、実際に起こると新聞記事になるまれな出来事だ。しかし統計学者に言わせると、こうした｢ありえない｣出来事は、実は結構頻繁に起こっているという。どうしてそういうことになるのだろう――ハンド先生がそこの事情を｢ありえなさの原理｣の名のもとに、実例をふんだんに盛り込んで解説してくれます

統計的な考え方は、直観では理解しにくいから、現代人必携のリテラシーとしてしっかり身につけておきたいもの。奇跡なんて胡散臭い、あるいはカモられたくない・騙されたくないあなたに捧げる確率・統計解説

1章       不可思議なこと

ボレルの法則　⇒　確率が十分低い事象は決して起こらない。少なくとも、我々はいかなる状況でもそうした出来事が起こりえないものとして行動すべき

｢十分に低い｣確率とは：

l  人間的な尺度で無視できる確率は、約1/1,000,000　⇔　ポーカーでロイヤルフラッシュの出る確率は1/650,000であり、2人があることをするために同じ1秒を選ぶ確率は1/30,000,000

l  地球的な尺度で無視できる確率は、約1/10¹⁵　⇔　地球の表面積は55x10¹⁵平方フィートなので、立つ場所として同じ1平方フィートを2人が選ぶ可能性は無視しうるが、ブリッジですっかり揃った札が配られる確率は大雑把に言って1/4ⅹ10¹⁰なので起こる見込みはかなり高そう

l  宇宙的な尺度で無視できる確率は、約1/10⁵⁰　⇔　地球は10⁵⁰個程度の原子からできているから、2人が地球全体から原子を1個ランダムに選ぶとしたら同じ原子を選ぶ確率は無視できるが、宇宙全体に恒星は”たった”10²³個前後しかない

l  超宇宙的な尺度で無視できる確率は、約1/10^{1,000,000,000}　⇔　実例を考えるのは難しい

ボレルの法則と｢ありえなさの原理｣がいかに両立しうるかを考える　⇒　超大数の法則、近いは同じの法則、選択の法則などがヒント

2章       気まぐれな宇宙

人間には身の安全を守りたいという基本的な欲求があり、物事が起こるとその理由を知りたがり、因果関係をはっきりさせたがり、目にしたことの背後にあるルールを理解したがるのも、物事が単なる偶然で起こったのでは根本的な心配が生じるから

l  迷信　⇒　出来事の背後にある原因を理解したいという本能的な欲求から、まず出来事の連鎖(パターン)を探す。その際重要なのは、現実の因果関係の確かな表れであるパターンかそうではないかの区別で、科学とは広い意味でそうした区別の絶えざる試みといえる

因果関係のないところに因果関係があると信じ込むのが迷信

ある出来事に続いて別の出来事が驚くほど頻繁に起こっていても、最初の出来事が2つ目の出来事の原因だとは限らない。それを統計学的には、｢相関関係は因果関係を合意しない｣と表現する

迷信は運が中心的な役割を果たすギャンブルとスポーツでとりわけ広くみられる

｢ホットハンド信仰｣　⇒　シュートを決め続けている選手はそのまま決め続ける可能性がたかまっている。この原因は、成功(または失敗)が長く続くことは交互の繰り返しが長く続くことより記憶に残りやすく、そのため見る側は連続するシュート間の相関を過大評価しがちとなることにある

｢確証バイアス｣　⇒　自分の説を肯定する証拠や出来事ばかりに気づき、他の傾向を示す物事を無視しがちになること

l  予言　⇒　違う予測をできるだけたくさんすることが予言成功の基本原理の1つで、20世紀半ばに全米各紙に配信されていた占星術コラムで人気を博した占い師ジーン・ディクソンにちなんで｢ジーン・ディクソン効果｣と呼ばれている。

ジーン・ディクソンには当時の世界の指導者さえ注目、ニクソンはそれを根拠にテロ攻撃に備えたし(起こらなかった)、ナンシーとロナルドのレーガン夫妻は個人的に助言を受けていた　⇒　実際に当たった予言で特筆すべきは、民主党候補が60年選挙で勝利し、任期中に暗殺されるか死ぬというのがあるが、最初に月面を歩くのはソ連の誰かだとか、第3次大戦が58年に始まるといった仰々しいが外れた予言と相殺されてしかるべき

l  神々

l  奇跡

l  心霊現象

l  超常的な力

偶然の一致の根底にも確率の基本原則があって、迷信や予言等の小細工は不要

ありえなさの原理の土台をなしているのもそれらの基本原則

3章       偶然とは何か?

｢偶然の一致｣とは、因果関係はなさそうだが意味を持って関連していると認められる複数の出来事の、驚くべき同時発生のことと定義され、一般的には超自然現象だとしてお馴染みの自然界の範疇にはない力や原因を持ち出して説明しようとするが、そこにも科学に基づく説明が可能

すべては｢確からしい｣とはどういう意味かに関わる

英語probableは、approve(承認する)、provable(証明できる)、approbation(認可)とラテン語の語根が同じで、”検証”や”証明”から来ている

科学者は確率を0～1の値をとるものと定義、０という確率はありえない物事に該当する

本書で扱うのは、不確かさという要素がある物事で、それも限りなく0に近いが完全に0ではないという物事

確率を数値で表す場合に使われる「オッズ」は、ある事柄が起こる確率を、起こらない確率で割ったもの

英語では確率の意味でprobabilityのほかにchanceもよく使われるが、後者はかしこまっていない場所で使われることが多く数値が関連付けられることはほとんどない

｢運｣とは、良い結果または悪い結果という意味合いが載った確率

｢リスク｣とは、物事が起こる確率とその結果の値または有用性を混ぜ合わせたもので、使われるのは悪い結果に限られる

｢ランダムさ｣とは、統計学では後に続く数字を予測できないことを指すが、アルゴリズム情報理論においては、それ以上簡潔に記述できないことを指す

｢カオス｣も似たような範疇にある言葉

確率はほかのどれよりも直観に反する性質を持つ数学的分野として知られている

偶然の定量化を試みるという考え方は、17世紀になるまで想像も出来ないこと

偶然の定量化は、宇宙は本質的に決定論的だという見方と相前後して出てきており、物理法則の解明に臨む態度が、偶然の出来事の追求に対して同じようなアプローチを促した

確率を取り上げた最初の動機は賭け事

2世紀後、現代統計学の基礎が築かれる　⇒　当てはまる基本原理は、各人がどう振る舞うかは予測できないが、十分な数の人を観察すればパターンが浮かび上がるというもの

確率の頻度主義的解釈は、状況が繰り返されると相対頻度が大雑把に一定する　⇒　コイントスで2回に1回の割合で表が出る。無限に続ければ精度が高まる

確率の主観的解釈では、ある事象が起こることに対して個人が抱く確信度

確率の古典的解釈は、対称性という概念に基づく ⇒　サイコロが6面の完全な立方体であれば、確率が6面すべて同じとなる

確率のルール

l  大数の法則(平均の法則とも)　⇒　与えられた数の集合からランダムに選び出された一連の数の平均は、その集合の平均値に近づいていく傾向を示す

100個の数字の集合から、サンプルサイズを2,5,10と増やしていくと、それぞれのサンプルサイズの平均値は、100個の数字の平均値に近づく

l  中心極限定理　⇒　選び出すサンプルサイズを一定にして平均をとると、どのサンプルサイズでも平均の分布は正規分布(=ガウス分布)に近づく

上記同様の100個の数字の集合から、5個の数字を選び出す作業を続けると、どのサンプルの数字の分布状況も正規分布に近づく

4章       不可避の法則

何かが必ず起こるという事実

49の数字から6つを選ぶロトの当選確率は約1/14,000,000

株価予測でも、必ず株価が上がるか下がるかしかないとすれば、10回やってすべて当る確率は1/2¹⁰なので、1024人いれば必ず1人は10回すべて当てるということになる

5章       超大数の法則

十分に大きな数の機会があれば、どれほど突飛な物事が起こってもおかしくない

3章でいう｢大数の法則｣は、サイズの大きなサンプルの平均値はサイズの小さなサンプルの平均値より揺らぎの幅が小さいというもので、全く別な話

組み合わせの法則　⇒　機会の数を陰で爆発的に増やすことがある。影響を及ぼし合う要因の組み合わせの数は要因の数とともに指数関数的に増える

｢誕生日の問題｣　⇒　1つの部屋に誕生日の同じ2人がいる可能性のほうがいない可能性より高くなるには部屋に何人いなければならないか?　たった23人

自分の誕生日と違う確率は364/365、部屋にn人いればn-1人全員の誕生日が自分と違う確率は、364/365をn-1回掛けたもの=nが23なら0.94となるので、誕生日が自分と同じ人が1人でもいる確率は、単純に1から引けばいいので0.06となり、ずいぶん小さく見えるが、自分と同じに限らず、誕生日が同じ任意の2人がいる確率となると、部屋にはn x (n-1)/2=253組のペアがいるので確率が上がる。23人の間で誰の誕生日も同じでない場合の確率は364/365 x 363/365 ・・・・・x 343/365＝0.49となるので、逆に誰か2人の誕生日が同じ確率は1-0.49=0.51となり、半分を上回る

09年ブルガリア国営ロトでは4日後に同じ6つの番号が当選番号となり、不正調査に発展したが、組み合わせの法則によって超大数の法則が一層強められた典型的な現象に過ぎない　⇒　籤をn回抽選した場合、一致する可能性のある結果のペアはn x (n-1)/2組あることから、誕生日の問題と同じ計算をすると、同じ6個の数を選ぶ(母数は49)確率が1/2を超えるのに必要な抽選回数は4404回。週2回年間104回の抽選をすれば43年かからずにこの回数に達し、それ以後は6個の数のどれか2組が全く同じという事態が起こる可能性のほうが高くなる

組み合わせの法則が効くのは、関わる人や物事が多いケースで、n個の要素からなる集合には2ⁿ-1通りの部分集合が考えられるので、n=100なら約10³⁰通りという超大数という数になる

ホールインワンの確率は約1/12750といわれるが、超大数の法則により、起こってしかるべき出来事であり、同じ人が2日連続で同じホールで達成するというのも驚くに当たらない

ある事象が起こりうる機会が十分な数だけあるなら、1回の機会で起こる確率がごく僅かでもその事象は起こるものと思っているべき

F1での3人のラップタイムが1/1000秒まで同じことは特筆すべきことのように思えるが、勝敗を分けるタイム差がふつうどれくらいかを思うと、3人の最速ラップが1/10秒の範囲に揃って収まっていておかしくない。タイムが1/1000秒の精度で計測されているということは、1/10秒の範囲でラップタイムは100通りあり、3人が同じ1/1000秒の範囲内に走りきる確率は単純に1/100 x 1/100＝1/10000と分かり、そう低い確率ではない。レースが行われる頻度や年数を考え合わせれば、超大数の法則が効いてくるのに十分な数の機会があるといえる

6章       選択の法則

事象が起こった後に選べば確率はいくらでも高くできる

何回ものストックオプションが全て株価の低迷時に付与され、その後上昇したことが極めて稀というケースも、株価の上がりそうな時を選んで付与すれば、何の不思議でもない

ジーン・ディクソンも、予言をたくさん当てたことで知られるが、さらに多くの当たらなかった予言をしたことは知られていない

近さ十分の法則　⇒　出来事が思ったところと厳密には同じでないかもしれないが、たいして違わなければそれを一致と数える法則。｢近さ｣の解釈はたっぷり拡大できるところがこの法則のミソ

ロトのケースでは、どの抽選券も当たる確率は変わらないが、当たった時にもらえる金額が大きく変わり得る　⇒　番号を選ぶときに決まったルールで選択すると、同じ番号が選ばれる確率が高まるため、当たった時に複数の当選者が出る

平均への回帰　⇒　3600個のサイコロを同時に振ると1～6が各600個ずつ出るが、6の出た600個だけを取り出すと出た目の平均は6だが、それを振ると、また1～6が各100個ずつ出て、出た目の平均は3.5となって、元の平均値となる

あらゆる類のランキングでも、上位にいる要因の大半が偶然なら、次回は下位に沈む可能性が高い、というのも選択の法則で説明できる

うまくできたときに褒めてやると次はそれほどうまくはできないが、失敗した時に叱ると次はうまくできるもの

科学界において、｢選択の法則｣は｢選択バイアス｣やそのバリエーションである｢発表バイアス｣という形で現れる　⇒　結果にとって都合のいいデータだけを選択したり、いい結果の出た論文だけが発表されるため、結果がゆがめられる

7章       確率てこの法則

環境に生じたわずかな変化が確率に途方もなく大きな影響を与えることがある

1年のうちに落雷で死ぬ確率は約1/300,000だが、パークレンジャーに限って言えば遥かに高い比率となる

ルーレットでも、事前にどの数が多く出るのかを調べて、その数にかけ続けることによって｢胴元を破産させるBreak the Bank｣を成し遂げたケースもある

8章       近いは同じの原則

十分に似ている現象は同じものとみなされる。それによって偶然の一致らしき物事の確率を高められる

9章       人間の思考

4～8章は、ありえなさの原理の様々な表れだが、1つ明らかなのは、これらの法則の多くが、自然の仕組みの一端をよくわかっていないせいで現れること。つまり誰もが持っている思考の癖が原因

確率や偶然は、直観に反しているように見える

l  連言錯誤　⇒　人間は2つの独立した事象の組み合わせのほうを、どちらかだけよりありそうに感じることがある。宝くじに当たってかつ雨に降られる確率のほうが、宝くじに当たるだけの確率より高そうに見える

l  基準率錯誤　⇒　クレジットカード詐欺防止のシステムが開発され、正当な取引の99％が正当だと正しく分類され、不正な取引の99％が不正だと正しく分類されるという。カード取引の1000件に1件というのが不正だという概算があるとするとこれが基準値となり、取引の数は圧倒的に正当なものが多いので、警告された取引は正しく分類された不正取引ではなく、実は間違って分類された正当な取引である可能性のほうがはるかに高い。警告された取引が実は誤分類された正当な取引だったという確率は91％(不正と分類されるのは、不正取引の99％と正当な取引の1％なので、1百万件の取引であれば、990件+9,990件となり、正当な取引を誤分類された取引のほうが10倍もある)

基準値がわからない場合、人間は往々にして確率を自分の主観的な経験だけに基づいて見積もる。なかでも、似たような経験の具体例をたやすく思い出せる場合に、その可能性を高く評価しがち　⇒　英語の文章からランダムに選ばれた単語でkが先頭に来ることのほうが多いか、それとも3文字目に来ることのほうが多いかを尋ねると、えてして答えはkで始まる単語のほうが多いと答えるが、実際は3文字目に来る単語のほうが倍ほど多いにもかかわらず、3文字目にkが来る単語はなかなか思いつかない

確証バイアス　⇒　自分の信条(科学であれば仮説)を支持する証拠には気づくのに、それらに反する証拠には気づかない、という無意識の傾向のこと

偶然の一致も、出来事にパターンを見出したがる人間の意識下のニーズを表している

偶然の一致だと思っていても、その裏には何らかの理由があって、確率分布を変えている可能性が高いので、それらを踏まえないと確率に関する判断を誤る恐れがある

可能性の効果　⇒　極めて低い確率を過大評価し(事象が本来より起こりやすいと考える)、極めて高い確率を過小評価する傾向にあるが、極めて低い確率に対して人間心理がねじれることをいい、高い確率の場合は｢確実性の効果｣という。宝くじを買うのは前者

分母の無視　⇒　2つの壺の一方には赤い球が1個と白い球が9個、もう一方には赤が8で白が92の場合、赤を選ぶ確率は合理的には前者が高いが、後者のほうが高いと直感する人が3人に1人はいる

少数の法則　⇒　コイントスを100回やった場合、大数の法則から言って、表の出る割合が1/2、すなわち0.5から大きく外れる可能性はかなり低い。0.4未満や0.6超の確率は0.035となるが、5回しか投げない場合にも同じように低い確率と思うが、実際に計算すると0.375となって、100回の場合の10倍以上の可能性となる

後知恵はきれいごと　⇒　各分野を代表する権威による自信たっぷりの予想が後から振り返ると救いようがなく間違っているという例は枚挙に暇がない

空気より重い空飛ぶ機械は不可能　⇒　ケルヴィン王立協会会長(1896年)

感染症は終わった　⇒　米国公衆衛生局長官(1969)

役者の喋りなど誰が聞きたがる　⇒　ワーナーブラザーズ(1927)

ギターバンドは廃れかけている　⇒　デッカ・レコード(1962年ビートルズを却下)

iPhoneが市場で大きなシェアを獲得することはない　⇒　バルマー・マイクロソフトCEO(2007)

2008年英国女王がロンドン・スクール・オブ・エコノミクスを訪問、信用崩壊が迫りつつあったことになぜ誰も気づかなかったのかと質問した際、英国学士院は、大勢が予見していたが、具体的にどのように起こるか、正確にいつか、予測は不可能だったと説明

10章    生命、宇宙、その他もろもろ

科学は私たちに説明を探すための戦略を授ける。絶対的な真理を求めるなら、科学ではなく純粋数学か宗教しかない。純粋数学はあるルール一式を適用した場合にある公理一式からもたらされる結論を導くことであり、自ら定義した独自の世界なので絶対的な真理が述べられる。また信仰の表現としての宗教はある絶対的な真理を信じていることの表明である

科学は可能性が全て。証拠やデータに基づき理論を検証し、相矛盾する場合は理論のほうを変える。そうすることで科学は前進し、理解は一層深まる。真理が絶対ではないことは科学の極めつけの本質。新たな証拠が出現したら理論が変わらざるを得ないことを示す好例が進化。高名な物理学者のケルヴィン卿が、ダーウィンの進化論は太陽には進化が起こるために必要な何十億年もの間燃え続けるだけの燃料がないという｢事実｣と相容れないと反論したが、核反応が発見されると太陽が何十億年と燃え続けられることが明らかになった

新たな事実が蓄積されるにつれていつ考えを変えるべきかを決めるうえで、そして新たな事実を手持ちの理論ではもはや十分には説明できないと判断するタイミングを計るうえで、ありえなさの原理の背後にある法則は重要な役割を担う。

11章    ありえなさの原理の活かし方

極めて起こりそうにない出来事が実際にはありきたりである理由として、ありえなさの原理をなす法則を検証してきた

何かが必ず起こること(不可避の法則)、かなり多くの可能性が調べ上げられていること(超大数の法則)、目を向ける先が事後に選ばれていること(選択の法則)といったありえなさの原理を構成する法則を私たちが考え合わせていない、あるいは理解を誤っているから

この原理が科学、医療、ビジネスなどの分野でいかに用いられているかを検証する

滅多に起こることのない現象が実際に起こった場合には、何か他の説明が考えられる

｢尤度(ゆうど:likelihood:もっともらしさ)の法則｣　⇒　ある事象に対し異なる2以上の説明がある場合、観測されたデータを得ることが最もありそうな説明を選ぶことで、例えば剽窃者を捕まえるのにも使われる。地図や辞書、電話帳、楽譜などに、影響の微小な架空のエントリーを忍び込ませておくと、まったく同じコピーが出てきた場合、ありえなさの原理から、第3者が同じ間違いを偶然することは極めて考えにくく、コピーしたという説明であれば同じ間違いをする確率は1となるので、尤度の法則により、コピーされたという説明が強固に支持されることになる

｢確率が低い｣とは　⇒　医療や心理学では、0.05か0.01とされる

統計的な有意さは1つの確率で、現実的な重要性と同じではない

確率を比べることで説明を評価して取捨選択するやり方

何かが十分起こりそうにないと見えたとしても、そう見えたことを疑う根拠が存在することをもって、他の説明を探す。これが統計的な推論の基本

「偶然」の統計学　［著］デイヴィッド・Ｊ・ハンド

[評者]佐倉統(東京大学教授・科学技術社会論)　 [掲載]朝日　2015年10月18日 　 [ジャンル]経済　

著者：デイヴィッド・Ｊ・ ハンド、松井 信彦　 出版社：早川書房　価格：￥ 1,944 Amazon.co.jp 楽天ブックス 紀伊國屋書店ウェブストア TSUTAYA online

■数字を武器に「奇跡」に迫る

　「なぜ奇跡は起こるのか？」を説明する本である。もう少し正確に表現すると、「人はなぜそれを奇跡と思うのか？」を、分かりやすく面白く解説してくれる本である。
　人間の直観は、物事の起こる確率については、まったくといっていいほど頼りにならない。ロト宝くじに2回当たる人がいれば裏に陰謀を嗅ぎ取るだろうし、雷に7回当たる人は神さまに嫌われているとでも思いたくなる。ところが本書によれば、こういった現象の確率は実はそれほど低くない。なぜそうなのか、著者の語り口はどこまでも明晰（めいせき）で優しく、面白い。
　だけどぼくたち人間の頭は、これらの確率を客観的に見積もることが苦手にできていて、しばしばころっと騙（だま）される。精神分析家のユングも騙された口だったようだ。
　統計と確率は、人生の必須科目だ。わけの分からないことだらけのこの世の中を、心安らかに生き抜くための強力な武器になる。その最初の一冊として、お薦め。
　　　　◇
　松井信彦訳、早川書房・１９４４円