Web教科書 Seq2Seq
Seq2Seq（Sequence-to-Sequence） 解説：2人でバケツリレーする翻訳家 Seq2Seq（シーク・ツー・シーク）は、ある時系列データを、別の時系列データに変換するモデルです。主に「エンコーダ（Encoder）」と「デコ...
g-kentei-kei
Web教科書 Web教科書 位置エンコーディング
位置エンコーディング (Positional Encoding) 解説：バラバラの原稿に「ページ番号」を振る 位置エンコーディング（Positional Encoding）は、Transformerに「単語の語順（位置情報）」を教えるための...
Web教科書 Transformer
Transformer 解説：AIの歴史を変えた「常識破り」のモデル Transformerは、2017年にGoogleの研究チームが発表した論文『Attention Is All You Need（必要なのはAttentionだけ）』で提...
Web教科書 Multi-Head Attention
Multi-Head Attention（多頭注意機構） 解説：「三人寄れば文殊の知恵」をAIで実現 Multi-Head Attention（マルチヘッド・アテンション）は、Self-Attentionの計算を一つだけでなく、複数の「ヘッ...
Web教科書 Self-Attention
Self-Attention (自己注意機構) 解説：文脈を「自分の中」で解決する Self-Attention（自己注意機構）は、「入力された一つの文章（自分自身）」の中で、単語同士が互いにどう関係しているかを計算する仕組みです。現在最強...
Web教科書 Q/K/V
クエリ・キー・バリュー (Query / Key / Value) 解説：AIによる「脳内検索システム」 Attention（注意機構）の計算プロセスは、よく「辞書検索」や「ファイルの検索システム」に例えられます。入力されたデータをそのまま...
Web教科書 Attention
Attention（注意機構） 解説：AIに「メリハリ」を与える技術 Attention（アテンション）は、入力データの中で「今、どこに注目すべきか」をAI自身に判断させる仕組みです。 人間が翻訳をする時、文章を頭からお尻まで丸暗記してから...
Web教科書 双方向RNN
双方向 RNN (Bidirectional RNN) 解説：未来をカンニングして答えを出す 双方向 RNN（Bidirectional RNN）は、データの時間を「過去から未来（順方向）」へ読むだけでなく、「未来から過去（逆方向）」へも同...
Web教科書 教師強制
教師強制 (Teacher Forcing) 解説：間違った道を突き進むのを防ぐ「軌道修正」 教師強制（Teacher Forcing）とは、RNNなどの「時系列データを順番に生成するモデル（翻訳や文章生成など）」の学習において、モデル自身...
Web教科書 GRU
Gated Recurrent Unit (GRU) 解説：LSTMを「断捨離」して高速化したモデル Gated Recurrent Unit（GRU）は、2014年に提案された、LSTMの改良版モデルです。 LSTMは非常に高性能でしたが...