【ひとり読書会】ディープラーニングの数学（第15回）

どうも、カタミチです。

さて、今日も「最短コースでわかる　ディープラーニングの数学」のひとり読書会、やっていきたいと思います。

さぁ、ついに「理論編」の最後の節にやってきました。6章「確率・統計」の後半戦、「尤度関数と最尤推定」です。張り切って行ってみよ〜

6-3. 尤度関数と最尤推定

f:id:feh_asama:20220323214154j:image

まず、この漢字「尤」ですが…

…

「犬」？

いや、よく見ると後ろ脚を蹴り上げてるような形をしてますね。…馬かな？（違います）

この漢字「尤もらしい」と書いて「もっともらしい」と読むようです。つまり、タイトルにある「最尤推定（さいゆうすいてい）」っていうのは「もっとももっともらしい感じで推定する」って意味になります。…「頭痛が痛い」みたいな雰囲気も感じますが、気持ちは受け取りました。

本書では「くじ引き」の例が書かれてましたが、理解を深めるために、元ソシャゲ重課金の民として、ガチャで例えてみようと思います。

勝手に例題：あるゲームでガチャを10回引いたところ、2回目と10回目にスーパーレアを引いて、残りはレアでした。スーパーレアを当てる確率\(p\)を推定しなさい。

…

「…そんなもん、\(\frac{1}{5}\)に決まっとるやん。」って言いたくなりますよね。だって、10回引いて2回引いたんだもの。ただコレに対して「根拠は？」って言ってアヤつけてくるのが確率・統計分野ってやつです。そこで、根拠を示す方法として登場するのが最尤推定…ってわけですね。

…まぁ、ガチャは景品表示法によって確率を明示することが義務付けられているので、基本的には確率は事前に分かってるものですが、運営会社が確率操作してるんじゃないかと怪しむときに使うといいかもしれませんね（ふむ）。

さて、スーパーレアが出る確率が\(p\)なら、レアが出る確率は\((1-p)\)ですね。

…というのはウソです（なんでやねん）。実は、引けてはいないものの、超強力なスーパースペシャルレアってやつがガチャに混ざってるからです！（話をややこしくすな）

まぁつまり、\((1-p)\)はレアが出る確率と言うより「スーパーレアが出ない確率」って事ですね。…この問題の本質に全く関係ない設定の話でした（おい）

さて、例題に戻りましょうかね。例題で示された引き方をする確率は…

\(p^2(1-p)^8\)になりますね。この結果が最大になるような\(p\)を探すってのが次のアクションになるんですが、この「最大になるような」というのを「最も尤もらしい」という意味合いで捉えることになるので、このアクションを最尤推定と呼び、推定の対象となっている関数\(p^2(1-p)^8\)を尤度関数と呼ぶようです。

ちなみに、この最尤推定。\(p\)の値をピンポイントで推定するので「点推定」の一種という言い方もするようです。

さぁ、尤度関数が最大になる地点を探すにはどうしたらいいかと言うと…微分ですね、はい。

次数が多すぎて微分がめんどくさそうですが、我々は既に必殺技を身につけています。いくぜ必殺…

対数変換っ！

\(\log(p^2(1-p)^8)=2\log p +8 \log (1-p)\)

はい、尤度関数の自然対数をとりました。対数をとると、元の関数からグチャッと潰れたようなグラフになるものの、極値の位置は元の尤度関数と変わらないため、こいつを微分することで得られた関数が\(0\)となるような\(p\)を求める事になりますね。試しに色んな式で対数前・対数後のグラフ書いてみましたが、この特徴は維持されてました。

ということで…

微分っ！

\(\frac{2}{p}-\frac{8}{1-p}\)

うん、自然対数の微分はお手軽でいいですねー。で、こいつが\(0\)の時に極大になるので…

\begin{eqnarray} \frac{2}{p}-\frac{8}{1-p} & = &0 \\ \frac{2}{p}&=&\frac{8}{1-p} \\ 2(1-p) &=& 8p \\ -10p&=&-2 \\ p &=& \frac{1}{5} \end{eqnarray}

はい、ようやく\(\frac{1}{5}\)が出ましたねー。結構長かった、うん。