Web教科書

tanh関数（ハイパボリックタンジェント） 解説：シグモイド関数の進化版 tanh関数（Hyperbolic tangent function：双曲線正接関数）は、シグモイド関数によく似たS字カーブを描く活性化関数です。 シグモイド関数との...

ReLU関数（ランプ関数 / 正規化線形関数） 解説：最強の「スイッチ」 ReLU（Rectified Linear Unit：レル）は、現在ディープラーニングの中間層で最も標準的に使われている活性化関数です。「正規化線形関数」や「ランプ関...

Leaky ReLU関数（リーキー・レル） 解説：ReLUの「弱点」を克服した改良版 Leaky ReLU（LReLU）は、現在主流であるReLU関数の「ある致命的な弱点」を修正するために考案された改良版です。「Leaky」とは「水漏れする...

ソフトマックス関数（Softmax Function） 解説：スコアを「確率」に変える変換機 ソフトマックス関数は、ニューラルネットワークの「出力層」で使われる関数です。特に、3つ以上の選択肢から正解を選ぶ「多クラス分類」において必須となり...

勾配消失問題 (Vanishing Gradient Problem) 解説：伝わらない「伝言ゲーム」 勾配消失問題とは、ディープラーニングにおいて層を深くしすぎると、誤差逆伝播法で学習させる際に、「入力層に近い層（手前の層）ほど、学習が全...

誤差関数（損失関数） 解説：AIへの「採点表」 誤差関数（Error Function）は、別名「損失関数（Loss Function）」とも呼ばれ、AIモデルが現在どれくらい「ダメか（間違っているか）」を数値化する関数です。 AIの学習と...

平均二乗誤差（MSE） 解説：回帰問題の「採点」の定番 平均二乗誤差（MSE: Mean Squared Error）は、売上予測や気温予測など、数値を予測する「回帰タスク」において最も標準的に使われる誤差関数（採点基準）です。 一言で言え...

交差エントロピー誤差（Cross Entropy Error） 解説：正解への「確信度」を測る 交差エントロピー誤差は、犬か猫かを当てるような「分類タスク」で使われる代表的な誤差関数です。 平均二乗誤差（MSE）が「距離（ズレ）」を測るのに...

カルバック・ライブラー情報量 (KL Divergence) 解説 カルバック・ライブラー情報量（KLダイバージェンス）とは、2つの確率分布（例えば「真のデータ分布 P」と「AIが予測した分布 Q」）が、互いにどれくらい似ていないか（情報の...

Contrastive Loss (コントラスティブ損失) 解説 Contrastive Lossは、ディープラーニングにおいて「2つのデータが似ているか、似ていないか」を学習させるための損失関数です。主に「距離学習（Metric Lear...