どうも、カタミチです。
さて、今日も「最短コースでわかる ディープラーニングの数学」のひとり読書会、やっていきたいと思います。今日は、微分・積分の章の続きからですね。
2-4. 極大・極小
前節では、微分の式について厚めに語られていましたが、この節は「極大・極小」の考え方についての話ですね。\(f'(x)\)がちょうど0になる地点では\(f(x)\)は増えも減りもしない。これが山頂の場合に極大、谷底の場合に極小と言うよ！ということですね。
ちなみに、\(f'(x)\)が0でも極大・極小にならない場合もあるようです。\(y=x^3\)の\(x=0\)の点が例で挙げられていました。変曲点ってやつでしたっけ？（うろ覚え）
この「極大・極小」は、勾配降下法で出てくるやつですね。局所最適解とか大域的最適解とかの用語はG検定のときに覚えましたよ、ええ。
2-5. 多項式の微分
さて、この節ではついに…微分の公式が登場ですね。よかった。出てこないんじゃないかと心配していました。
公式を導出するために「二項定理」が使われていました。コンビネーション（\({}_nC_r\)）ってやつを含んだ定理で、多分ディープラーニングではそんなに重要じゃなさそうなんですが、ちゃんと途中式含めて書かれていました。
ちなみに今回、数学を勉強するってことで、極力、導出過程や証明もしっかり見ていこう、というのを意識してやっています。その点、本書はその辺りをちゃんと書いてくれているので助かります。
で、そんな二項定理を使って導き出した微分の公式がこちら。
$$(x^r)'=rx^{r-1} \tag{1}$$
めっちゃシンプルですよねー。なんか、式にかっちょいい名前でも付いてそうな気がして探してみたんですが、見つけられませんでした。探索力不足かもしれませんが…（汗）。
ちなみに、高校で習った微分のアレコレは綺麗サッパリ忘れているんですが、この公式だけは30年経った今も覚えています。高校3年生のときに習った気がするんですが、どう考えても、中学校で習う因数分解とかの方が難しい（ふむ）。
あと、もうひとつの公式。こっちは式を覚えるってより使い方と用語を覚える方が大切だと思います。こいつです。
$$(p\cdot f(x)+q\cdot g(x))'=p\cdot f'(x)+q\cdot g'(x)$$
式は若干ゴツいですが、要は「全体の微分は、足し算とか引き算のところで分割してそれぞれで微分していいよ！」ってことですね。このような性質が成り立つことを「線形性」と言うみたいです。そうか、線形性ってそういう意味だったのか！「線形」って言葉は、機械学習を勉強していると見ない日は無いってくらい出てきますが、ここで「線形性」の意味を理解できました（嬉）。
ちなみに(1)の式は、\(\sqrt{x}\)とか\(\frac{1}{x}\)とかにも使えますね。\(\sqrt{x}\)は\(x^{\frac{1}{2}}\)ですし、\(\frac{1}{x}\)は\(x^{-1}\)と表すことができるので、そのまま(1)の式にぶち込むだけです。そう考えると、これらをすべて「べき乗」で表現できるようにした人は頭いいですね（小並感）。もう\(\sqrt{}\)とかやめて、全部「べき乗」で表現すれば良いんじゃないでしょうかね（逆にわかりづらそう）。
2-6. 積の微分
積分か！（大いなる勘違い）
…どうやら関数同士の積の微分についての節のようです。こいつですね。
\( (f(x)g(x))' \)
「こんなもん、先に掛け算してひとつの関数にしてしまってから計算すればいいやん。」というのは、数学シロウトの考えですね。分けて考えたほうが計算が楽になる場合があるんですよ！…たぶん（数学シロウト）。
まぁどうせ、\( (f(x)g(x))'= f(x)'g(x)' \)とかなんでしょ。分かってるんだから（ドヤ）。
…
…
…
ブーーーッ！はずれ！
…これも、ちゃんと計算過程が紹介されていたのでしっかり見ましたが、実際にはこうなるようですね。
\( (f(x)g(x))' = f'(x)g(x)+f(x)g'(x) \)
こいつを「積の微分の公式」と言うようです。
よし、自分で例題作ってやってみよ。
勝手に例題：\(f(x)=x^2,g(x)=x\)とした時の\( (f(x)g(x))' \)を求めよ。
まず答えから行くと、\(f(x)g(x)=x^2\cdot x = x^3\)なので、\( (f(x)g(x))' = 3x^2\)ですね。
積の微分の公式を使って解いてみましょう。微分の公式から、\( f'(x) = 2x,g'(x)=1 \)なので、積の微分の公式の右辺は…
\( f'(x)g(x)+f(x)g'(x) = 2x \cdot x + x^2 \cdot 1 = 3x^2\)
おー、一致した！！（あたりまえじゃ）
ということで
少しずつ、微分が身体に浸透してきた感じがあります。高校数学でやってきたはずなんですが、やっぱり、ほぼ忘れてますねー。しかし、勉強し直すというのも、案外楽しいですね。明日でこの「微分・積分」の章を終わらせるぞー。
ではまた。
