Web教科書 連鎖律
連鎖律 (Chain Rule) 解説 連鎖律（チェインルール）とは、複数の関数が入れ子になった「合成関数」を微分するための数学公式です。ディープラーニングの学習（誤差逆伝播法）において、「出力層の誤差を、入力層に向かって逆順に伝えていく」...
Web教科書
Web教科書 Web教科書 勾配爆発
勾配爆発問題 (Gradient Explosion Problem) 解説 勾配爆発問題とは、ディープラーニングの学習中（誤差逆伝播）に、勾配（更新量）が異常に大きくなりすぎて、計算結果が「無限大（NaN：非数）」になってしまう現象です。...
Web教科書 勾配降下法
勾配降下法（Gradient Descent） 解説：目隠しで「谷底」を目指す 勾配降下法は、ニューラルネットワークが「誤差（損失）」を最小にするパラメータ（重み）を見つけるための最適化アルゴリズムです。 AIの学習は、よく「真っ暗闇の山で...
Web教科書 ハイパーパラメータ
ハイパーパラメータ 解説：AIへの「設定」と「学習」の違い ハイパーパラメータとは、機械学習の学習を始める前に、人間が手動で決めなければならない設定値のことです。 AIモデルの中には、「パラメータ（重みやバイアス）」と呼ばれる数値が無数にあ...
Web教科書 SGD
確率的勾配降下法 (SGD) 解説：千鳥足でゴールを目指す 確率的勾配降下法（SGD: Stochastic Gradient Descent）は、勾配降下法の一種ですが、計算に使うデータの量が違います。全データではなく、ランダムに選んだ「...
Web教科書 学習率
学習率（Learning Rate） 解説：ゴールまでの「歩幅」調整 学習率（Learning Rate）は、勾配降下法でパラメータ（重み）を更新する際に、「一度にどれだけ値を動かすか（歩幅）」を決めるハイパーパラメータです。数式では「η（...
Web教科書 学習方式の比較（バッチ学習・ミニバッチ学習・オンライン学習）
バッチ学習・ミニバッチ学習・オンライン学習 解説：「答え合わせ」のタイミングで比較する ニューラルネットワークに大量のデータ（例：1万件の画像）を学習させる際、「何件分のデータを見てから、パラメータの更新（反省と修正）を行うか」によって、主...
Web教科書 学習回数の単位（エポック・イテレーション）
エポック・イテレーション（学習の単位） 解説：AIの「ドリル学習」スケジュール ニューラルネットワークは、同じデータを何度も繰り返し学習することで賢くなります。この「繰り返しの回数」を数える単位として、エポックとイテレーションの2つが使われ...
Web教科書 局所最適解・大域最適解・鞍点
局所最適解・大域最適解・鞍点 解説：山下りで遭遇する「3つの罠とゴール」 勾配降下法（夜の山下り）で誤差の「谷底」を目指す際、AIは足元の傾斜（勾配）が「ゼロ（平坦）」になった場所をゴールだと認識します。しかし、そこが本当に目指すべきゴール...
Web教科書 学習理論とテクニック（早期終了・ノーフリーランチ・二重降下現象）
早期終了・ノーフリーランチ・二重降下現象 解説：AI学習の「引き際」と「真実」 ここでは、AIの学習をうまくコントロールするための手法と、AIにまつわる不思議な法則を3つ紹介します。 1. 早期終了（アーリーストッピング） 「成績が下がる前...