ニューラルネットワーク と 多層パーセプトロン の違い は諸説あるが、とりあえずここでは複数の中間層をもつパーセプトロンがニューラルネットワーク(下図1)、一層の中間層で賄えるパーセプトロン(パーセプトロン 図2)を多層パーセプトロンと定義して以降の学習を進めていこう。
活性化関数
ソフトマックス関数
ソフトマックス関数の定義式
\( \hspace{45pt}\)\({\large y}_i\)\(\:=\)\( \frac{\overset{{\Huge e}^{\Large x_i}}{\tiny{\,}}}{\displaystyle\scriptsize\sum_{\boldsymbol{i}=0}^{\scriptsize{\boldsymbol n}{-1}}\:{\large e}^{\normalsize x_i}}\)\(\hspace{20pt}\small{(0\:\leqq\:{\normalsize y}_i\:\leqq\:1)}\hspace{20pt}\small\textsf{$i\,$は 入力する要素数、$n\scriptsize{-1}$ は入力層数}。\)
