Web教科書 Self-Attention
Self-Attention (自己注意機構) 解説：文脈を「自分の中」で解決する Self-Attention（自己注意機構）は、「入力された一つの文章（自分自身）」の中で、単語同士が互いにどう関係しているかを計算する仕組みです。現在最強...
g-kentei-kei
Web教科書 Web教科書 Q/K/V
クエリ・キー・バリュー (Query / Key / Value) 解説：AIによる「脳内検索システム」 Attention（注意機構）の計算プロセスは、よく「辞書検索」や「ファイルの検索システム」に例えられます。入力されたデータをそのまま...
Web教科書 Attention
Attention（注意機構） 解説：AIに「メリハリ」を与える技術 Attention（アテンション）は、入力データの中で「今、どこに注目すべきか」をAI自身に判断させる仕組みです。 人間が翻訳をする時、文章を頭からお尻まで丸暗記してから...
Web教科書 双方向RNN
双方向 RNN (Bidirectional RNN) 解説：未来をカンニングして答えを出す 双方向 RNN（Bidirectional RNN）は、データの時間を「過去から未来（順方向）」へ読むだけでなく、「未来から過去（逆方向）」へも同...
Web教科書 教師強制
教師強制 (Teacher Forcing) 解説：間違った道を突き進むのを防ぐ「軌道修正」 教師強制（Teacher Forcing）とは、RNNなどの「時系列データを順番に生成するモデル（翻訳や文章生成など）」の学習において、モデル自身...
Web教科書 GRU
Gated Recurrent Unit (GRU) 解説：LSTMを「断捨離」して高速化したモデル Gated Recurrent Unit（GRU）は、2014年に提案された、LSTMの改良版モデルです。 LSTMは非常に高性能でしたが...
Web教科書 LSTM
Long Short Term Memory (LSTM) 解説：記憶を「ベルトコンベア」で運ぶ Long Short Term Memory（LSTM）は、RNNが抱えていた「昔のことをすぐに忘れてしまう（長期依存の学習が苦手）」という致...
Web教科書 BPTT
Back Propagation Through Time (BPTT) 解説：時間を「巻き戻して」犯人を探す BPTT（時間方向の誤差逆伝播法）は、RNNを学習させるための専用アルゴリズムです。名前の通り、「時間の流れを遡って（Back ...
Web教科書 初期のRNN
エルマンネット / ジョルダンネット 解説：RNNの「始祖」たち 1990年代初頭に考案された、現代のRNNの原型となるモデルです。それまでのニューラルネットワークは「その瞬間の入力」しか見ることができませんでしたが、これらのモデルは過去の...
Web教科書 RNN
リカレントニューラルネットワーク (RNN) 解説：過去を「記憶」するネットワーク リカレントニューラルネットワーク（RNN: Recurrent Neural Network）は、「時間的なつながり」を持つデータを扱うために開発されたモデ...