Web教科書 最適化アルゴリズム
最適化手法（Momentum / AdaGrad / RMSprop / Adam） 解説 SGD（確率的勾配降下法）の「ジグザグに進む」「学習率の調整が難しい」といった弱点を克服するために、様々な最適化手法が提案されてきました。 Mome...
Web教科書
Web教科書 Web教科書 発展的な最適化（AMSGrad / AdaBound / AMSBound）
発展的な最適化（AMSGrad / AdaBound / AMSBound） 解説：Adamの弱点を克服する「進化系」たち ディープラーニングの最適化において、現在最も人気があるのは「Adam」です。しかし、Adamには「学習の終盤で突然お...
Web教科書 ハイパーパラメータ探索
ハイパーパラメータ探索（グリッドサーチ / ランダムサーチ） 解説：最強の設定を見つけるための「宝探し」 ハイパーパラメータ（学習率や層の数など）の最適な組み合わせを見つける作業は、広大な地図の中から宝箱を探すようなものです。手作業で一つず...
Web教科書 多層パーセプトロン
多層パーセプトロン（MLP） 解説：単純パーセプトロンの進化形 多層パーセプトロン（MLP: Multi-Layer Perceptron）は、その名の通り、単純パーセプトロンを何層にも重ねてパワーアップさせたニューラルネットワークです。 ...
Web教科書 ニューラルネットワークの階層構造
隠れ層・入力層・出力層 解説：データの「料理」プロセス ニューラルネットワークは、データを受け取ってから結果を出すまでを、役割の異なる3種類の「層（レイヤー）」のリレー形式で行います。 これをレストランの厨房に例えると、それぞれの役割は以下...
Web教科書 CPU
CPU (Central Processing Unit) 解説 CPU（中央演算処理装置）は、パソコンやスマートフォンの「頭脳」にあたるパーツで、OSの起動からアプリの実行まで、あらゆる処理をこなす汎用的な計算装置です。 「数人の天才数学...
Web教科書 GPU
GPU (Graphics Processing Unit) 解説 GPU（画像処理装置）は、もともと3Dゲームなどの映像を描画するために開発されたパーツです。しかし現在では、その圧倒的な計算能力を買われ、AI（ディープラーニング）の計算リ...
Web教科書 TPU
TPU (Tensor Processing Unit) 解説 TPU（Tensor Processing Unit）は、Googleが自社のディープラーニング（特にTensorFlow）を高速化するために独自開発した「AI専用のプロセッサ...
Web教科書 活性化関数
活性化関数（アクティベーション・ファンクション） 解説：ニューロンの「やる気スイッチ」 活性化関数は、ニューロン（ノード）に入ってきた情報を、「次の層にどれくらいの強さで伝えるか」を決定する関数です。 人間の脳細胞（ニューロン）は、電気信号...
Web教科書 シグモイド関数
シグモイド関数（Sigmoid Function） 解説：確率への変換装置 シグモイド関数は、どんな入力値が来ても、出力を必ず「0から1」の範囲にギュッと圧縮する性質を持つS字型の関数です。 この「0〜1」という範囲は、そのまま「確率（0%...