局所最適解・大域最適解・鞍点
解説：山下りで遭遇する「3つの罠とゴール」
勾配降下法（夜の山下り）で誤差の「谷底」を目指す際、AIは足元の傾斜（勾配）が「ゼロ（平坦）」になった場所をゴールだと認識します。しかし、そこが本当に目指すべきゴールとは限りません。
| 名称 | 特徴と山下りのイメージ |
|---|---|
| 大域最適解 (Global Minimum) |
【真のゴール】 山全体の中で「本当に一番低い場所（誤差が最小）」。モデルが最終的に到達すべき理想の地点です。 |
| 局所最適解 (Local Minimum) |
【偽のゴール（くぼみ）】 周囲よりは低いが、全体で見るともっと低い場所がある地点。山の中腹にある「すり鉢状のくぼみ」に落ちてしまい、四方が上り坂になるため「ここが底だ」と勘違いして学習が止まってしまいます。 |
| 鞍点 (Saddle Point) |
【学習の停滞地点】 ある方向からは「谷（極小）」に見えるが、別の方向からは「山（極大）」に見える地点。馬の背に乗せる「鞍（くら）」のような形をしています。ここで傾斜がほぼゼロになるため、学習がピタッと止まったり、極端に遅くなる（プラトー現象）原因になります。 |
ディープラーニングにおける「真の敵」は鞍点
昔は「局所最適解にハマることが最大の問題だ」と考えられていました。
しかし現在のディープラーニングのように、パラメータが数百万～数十億もある「超高次元」の空間では、すべての方向が上り坂になる「局所最適解」が発生する確率は天文学的に低く、むしろ「一部は平坦で、一部は下っている『鞍点』」の方が圧倒的に多く存在し、学習を妨げる主要な原因（プラトー）になっていることが分かっています。
G検定対策
出題ポイント
- 大域最適解：誤差関数の全領域の中で最小の点（真のゴール）。
- 局所最適解（ローカルミニマム）：極小値ではあるが、最小値ではない点（偽のゴール）。
- 鞍点（Saddle Point）：極大でも極小でもないが、勾配がゼロになる停滞点。高次元ネットワークでの学習停滞（プラトー）の主な原因。
よくあるひっかけ問題
- × 鞍点とは、その地点が局所最適解（極小値）であることを意味する
（解説）誤りです。鞍点は「ある方向からは極大、ある方向からは極小」に見える複雑なポイントであり、極小値（局所最適解）とは明確に区別されます。 - × ニューラルネットワークの学習で最も回避すべきなのは、大域最適解である
（解説）大域最適解は「一番良い答え（誤差最小）」なので、回避するのではなく目指すべき最終ゴールです。回避すべきは局所最適解や鞍点です。
