Web教科書 Q/K/V
クエリ・キー・バリュー (Query / Key / Value) 解説：AIによる「脳内検索システム」 Attention（注意機構）の計算プロセスは、よく「辞書検索」や「ファイルの検索システム」に例えられます。入力されたデータをそのまま...
Web教科書
Web教科書 Web教科書 Self-Attention
Self-Attention (自己注意機構) 解説：文脈を「自分の中」で解決する Self-Attention（自己注意機構）は、「入力された一つの文章（自分自身）」の中で、単語同士が互いにどう関係しているかを計算する仕組みです。現在最強...
Web教科書 Multi-Head Attention
Multi-Head Attention（多頭注意機構） 解説：「三人寄れば文殊の知恵」をAIで実現 Multi-Head Attention（マルチヘッド・アテンション）は、Self-Attentionの計算を一つだけでなく、複数の「ヘッ...
Web教科書 Transformer
Transformer 解説：AIの歴史を変えた「常識破り」のモデル Transformerは、2017年にGoogleの研究チームが発表した論文『Attention Is All You Need（必要なのはAttentionだけ）』で提...
Web教科書 位置エンコーディング
位置エンコーディング (Positional Encoding) 解説：バラバラの原稿に「ページ番号」を振る 位置エンコーディング（Positional Encoding）は、Transformerに「単語の語順（位置情報）」を教えるための...
Web教科書 Seq2Seq
Seq2Seq（Sequence-to-Sequence） 解説：2人でバケツリレーする翻訳家 Seq2Seq（シーク・ツー・シーク）は、ある時系列データを、別の時系列データに変換するモデルです。主に「エンコーダ（Encoder）」と「デコ...
Web教科書 オートエンコーダ
オートエンコーダ（自己符号化器） 解説：自分を「要約」して「復元」する オートエンコーダ（Autoencoder）は、入力されたデータを一度ギュッと圧縮し、そこから再び元のデータを復元するように学習するニューラルネットワークです。 このモデ...
Web教科書 積層オートエンコーダ
積層オートエンコーダ（Stacked Autoencoder） 解説：ディープラーニングの「夜明け」を作った技術 積層オートエンコーダは、2006年にジェフリー・ヒントンやヨシュア・ベンジオらによって提案された、オートエンコーダを何層にも積...
Web教科書 次元削減
次元削減（Dimensionality Reduction） 解説：情報の「断捨離」と「要約」 次元削減とは、膨大なデータ（高次元）から、情報の損失をできるだけ抑えつつ、本質的な特徴だけを抜き出してデータをコンパクトに凝縮（低次元化）する処...
Web教科書 VAE
変分オートエンコーダ（VAE） 解説：データを「確率の雲」に変える 変分オートエンコーダ（VAE: Variational Autoencoder）は、通常のオートエンコーダに「確率統計」の考え方を組み込んだ、データを生成できるモデル（生成...