g-kentei-kei

テキストデータの拡張（Noising / Paraphrasing） 解説：文章を「カサ増し」する技術 画像データであれば、画像を少し回転させたり左右反転させたりしても「猫は猫」のままですが、テキストデータは一文字変わるだけで意味が変わって...

データ拡張（Data Augmentation）とは？ 一言で言うと、「手持ちのデータを加工して、擬似的にデータを水増しする技術」です。 AI（ディープラーニング）は、学習データが少ないと、教科書を丸暗記するように答えだけを覚えてしまう「過...

変分オートエンコーダ（VAE） 解説：データを「確率の雲」に変える 変分オートエンコーダ（VAE: Variational Autoencoder）は、通常のオートエンコーダに「確率統計」の考え方を組み込んだ、データを生成できるモデル（生成...

次元削減（Dimensionality Reduction） 解説：情報の「断捨離」と「要約」 次元削減とは、膨大なデータ（高次元）から、情報の損失をできるだけ抑えつつ、本質的な特徴だけを抜き出してデータをコンパクトに凝縮（低次元化）する処...

積層オートエンコーダ（Stacked Autoencoder） 解説：ディープラーニングの「夜明け」を作った技術 積層オートエンコーダは、2006年にジェフリー・ヒントンやヨシュア・ベンジオらによって提案された、オートエンコーダを何層にも積...

オートエンコーダ（自己符号化器） 解説：自分を「要約」して「復元」する オートエンコーダ（Autoencoder）は、入力されたデータを一度ギュッと圧縮し、そこから再び元のデータを復元するように学習するニューラルネットワークです。 このモデ...

Seq2Seq（Sequence-to-Sequence） 解説：2人でバケツリレーする翻訳家 Seq2Seq（シーク・ツー・シーク）は、ある時系列データを、別の時系列データに変換するモデルです。主に「エンコーダ（Encoder）」と「デコ...

位置エンコーディング (Positional Encoding) 解説：バラバラの原稿に「ページ番号」を振る 位置エンコーディング（Positional Encoding）は、Transformerに「単語の語順（位置情報）」を教えるための...

Transformer 解説：AIの歴史を変えた「常識破り」のモデル Transformerは、2017年にGoogleの研究チームが発表した論文『Attention Is All You Need（必要なのはAttentionだけ）』で提...

Multi-Head Attention（多頭注意機構） 解説：「三人寄れば文殊の知恵」をAIで実現 Multi-Head Attention（マルチヘッド・アテンション）は、Self-Attentionの計算を一つだけでなく、複数の「ヘッ...