局所最適解と大域最適解の理解

問題

局所最適解と大域最適解に関する記述のうち、正しいものを1つ選べ。

ニューラルネットワークの学習（最適化）の目標は、誤差（損失関数の値）が全体の中で「一番小さくなる点（大域最適解：Global Minimum）」を見つけることです。

しかし、ディープラーニングの損失関数は非常に複雑で山や谷が多数ある形状（非凸関数）をしているため、勾配降下法で学習を進めると、一番深い谷底に辿り着く前に「近くにあった浅い谷底（局所最適解：Local Minima）」に捕まってしまい、そこから抜け出せなくなることが大きな問題となります。

1. 局所最適解は常に大域最適解より優れている。

誤り：局所最適解は「その周辺の狭い範囲の中では一番誤差が小さい点」に過ぎません。モデル全体として最も誤差が小さく、最も優れているのは「大域最適解」です。

2. 大域最適解は損失が最も小さくなる点である。

正しい：損失関数の取りうるすべての値の中で、最も誤差が小さくなる点（一番深い谷底）が大域最適解であり、モデルの最適なパラメータ状態を指します。

3. 深層学習では損失関数が単純な形状のため局所最適解は存在しない。

誤り：ディープラーニングの損失関数は、パラメータが膨大であるため非常に複雑な多次元の地形をしており、無数の局所最適解（や鞍点）が存在します。

4. 局所最適解は必ずしも学習を妨げるものではない。

誤り：局所最適解（浅い谷底）に捕まると、それ以上誤差が下がらなくなり、モデルの精度が本来のポテンシャルより低くなってしまうため、学習を妨げる主要な原因となります。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ