g-kentei-kei

ハイパーパラメータ 解説：AIへの「設定」と「学習」の違い ハイパーパラメータとは、機械学習の学習を始める前に、人間が手動で決めなければならない設定値のことです。 AIモデルの中には、「パラメータ（重みやバイアス）」と呼ばれる数値が無数にあ...

勾配降下法（Gradient Descent） 解説：目隠しで「谷底」を目指す 勾配降下法は、ニューラルネットワークが「誤差（損失）」を最小にするパラメータ（重み）を見つけるための最適化アルゴリズムです。 AIの学習は、よく「真っ暗闇の山で...

勾配爆発問題 (Gradient Explosion Problem) 解説 勾配爆発問題とは、ディープラーニングの学習中（誤差逆伝播）に、勾配（更新量）が異常に大きくなりすぎて、計算結果が「無限大（NaN：非数）」になってしまう現象です。...

連鎖律 (Chain Rule) 解説 連鎖律（チェインルール）とは、複数の関数が入れ子になった「合成関数」を微分するための数学公式です。ディープラーニングの学習（誤差逆伝播法）において、「出力層の誤差を、入力層に向かって逆順に伝えていく」...

誤差逆伝播法（バックプロパゲーション） 解説：ミスの原因を「逆流」して探す 誤差逆伝播法（Backpropagation）は、ニューラルネットワークを学習させるための最も基本的なアルゴリズムです。一言で言えば、「結果のミス（誤差）を逆算して...

ドロップアウト（Dropout） 解説：AIへの「スパルタ特訓」 ドロップアウト（Dropout）は、2014年にジェフリー・ヒントン氏らによって提案された、ニューラルネットワークの「過学習」を防ぐためのテクニックです。 その仕組みは非常に...

正則化 解説 過学習を防ぐ「正則化（正規化）」とは？ 機械学習のモデルが、訓練データを一生懸命覚えようとするあまり、データに含まれるノイズ（偶然の誤差）まで丸暗記してしまうことがあります。これを過学習（オーバーフィッティング）と呼びます。 ...

Triplet Loss 解説 Triplet Loss（トリプレット損失）は、3つのデータを1組（トリプレット）にして学習を行う誤差関数です。Contrastive lossをより高度にした手法と言え、GoogleのFaceNetなどの顔...

Contrastive Loss (コントラスティブ損失) 解説 Contrastive Lossは、ディープラーニングにおいて「2つのデータが似ているか、似ていないか」を学習させるための損失関数です。主に「距離学習（Metric Lear...

カルバック・ライブラー情報量 (KL Divergence) 解説 カルバック・ライブラー情報量（KLダイバージェンス）とは、2つの確率分布（例えば「真のデータ分布 P」と「AIが予測した分布 Q」）が、互いにどれくらい似ていないか（情報の...