g-kentei-kei

重み (Weight) 解説：特徴量（入力データ）の「重要度」を決めるパラメータ 重み（Weight）とは、ニューラルネットワークにおいて「どの入力データ（特徴量）が、最終的な予測結果にどれくらい強く影響するか」を決定するためのパラメータ（...

ハイパーパラメータ探索（グリッドサーチ / ランダムサーチ） 解説：最強の設定を見つけるための「宝探し」 ハイパーパラメータ（学習率や層の数など）の最適な組み合わせを見つける作業は、広大な地図の中から宝箱を探すようなものです。手作業で一つず...

発展的な最適化（AMSGrad / AdaBound / AMSBound） 解説：Adamの弱点を克服する「進化系」たち ディープラーニングの最適化において、現在最も人気があるのは「Adam」です。しかし、Adamには「学習の終盤で突然お...

最適化手法（Momentum / AdaGrad / RMSprop / Adam） 解説 SGD（確率的勾配降下法）の「ジグザグに進む」「学習率の調整が難しい」といった弱点を克服するために、様々な最適化手法が提案されてきました。 Mome...

早期終了・ノーフリーランチ・二重降下現象 解説：AI学習の「引き際」と「真実」 ここでは、AIの学習をうまくコントロールするための手法と、AIにまつわる不思議な法則を3つ紹介します。 1. 早期終了（アーリーストッピング） 「成績が下がる前...

局所最適解・大域最適解・鞍点 解説：山下りで遭遇する「3つの罠とゴール」 勾配降下法（夜の山下り）で誤差の「谷底」を目指す際、AIは足元の傾斜（勾配）が「ゼロ（平坦）」になった場所をゴールだと認識します。しかし、そこが本当に目指すべきゴール...

エポック・イテレーション（学習の単位） 解説：AIの「ドリル学習」スケジュール ニューラルネットワークは、同じデータを何度も繰り返し学習することで賢くなります。この「繰り返しの回数」を数える単位として、エポックとイテレーションの2つが使われ...

バッチ学習・ミニバッチ学習・オンライン学習 解説：「答え合わせ」のタイミングで比較する ニューラルネットワークに大量のデータ（例：1万件の画像）を学習させる際、「何件分のデータを見てから、パラメータの更新（反省と修正）を行うか」によって、主...

学習率（Learning Rate） 解説：ゴールまでの「歩幅」調整 学習率（Learning Rate）は、勾配降下法でパラメータ（重み）を更新する際に、「一度にどれだけ値を動かすか（歩幅）」を決めるハイパーパラメータです。数式では「η（...

確率的勾配降下法 (SGD) 解説：千鳥足でゴールを目指す 確率的勾配降下法（SGD: Stochastic Gradient Descent）は、勾配降下法の一種ですが、計算に使うデータの量が違います。全データではなく、ランダムに選んだ「...