Web教科書

Web教科書

Q/K/V

クエリ・キー・バリュー (Query / Key / Value) 解説:AIによる「脳内検索システム」 Attention(注意機構)の計算プロセスは、よく「辞書検索」や「ファイルの検索システム」に例えられます。入力されたデータをそのまま...
Web教科書

Self-Attention

Self-Attention (自己注意機構) 解説:文脈を「自分の中」で解決する Self-Attention(自己注意機構)は、「入力された一つの文章(自分自身)」の中で、単語同士が互いにどう関係しているかを計算する仕組みです。現在最強...
Web教科書

Multi-Head Attention

Multi-Head Attention(多頭注意機構) 解説:「三人寄れば文殊の知恵」をAIで実現 Multi-Head Attention(マルチヘッド・アテンション)は、Self-Attentionの計算を一つだけでなく、複数の「ヘッ...
Web教科書

Transformer

Transformer 解説:AIの歴史を変えた「常識破り」のモデル Transformerは、2017年にGoogleの研究チームが発表した論文『Attention Is All You Need(必要なのはAttentionだけ)』で提...
Web教科書

位置エンコーディング

位置エンコーディング (Positional Encoding) 解説:バラバラの原稿に「ページ番号」を振る 位置エンコーディング(Positional Encoding)は、Transformerに「単語の語順(位置情報)」を教えるための...
Web教科書

Seq2Seq

Seq2Seq(Sequence-to-Sequence) 解説:2人でバケツリレーする翻訳家 Seq2Seq(シーク・ツー・シーク)は、ある時系列データを、別の時系列データに変換するモデルです。主に「エンコーダ(Encoder)」と「デコ...
Web教科書

オートエンコーダ

オートエンコーダ(自己符号化器) 解説:自分を「要約」して「復元」する オートエンコーダ(Autoencoder)は、入力されたデータを一度ギュッと圧縮し、そこから再び元のデータを復元するように学習するニューラルネットワークです。 このモデ...
Web教科書

積層オートエンコーダ

積層オートエンコーダ(Stacked Autoencoder) 解説:ディープラーニングの「夜明け」を作った技術 積層オートエンコーダは、2006年にジェフリー・ヒントンやヨシュア・ベンジオらによって提案された、オートエンコーダを何層にも積...
Web教科書

次元削減

次元削減(Dimensionality Reduction) 解説:情報の「断捨離」と「要約」 次元削減とは、膨大なデータ(高次元)から、情報の損失をできるだけ抑えつつ、本質的な特徴だけを抜き出してデータをコンパクトに凝縮(低次元化)する処...
Web教科書

VAE

変分オートエンコーダ(VAE) 解説:データを「確率の雲」に変える 変分オートエンコーダ(VAE: Variational Autoencoder)は、通常のオートエンコーダに「確率統計」の考え方を組み込んだ、データを生成できるモデル(生成...