Web教科書

Web教科書

画像分類モデル(CNN)の進化の歴史

画像分類モデル(CNN)の進化の歴史:AIブームを牽引した名作たち ディープラーニング(深層学習)が現在のAIブームを巻き起こしたきっかけは、間違いなく「画像認識」の分野における劇的な進化にあります。 G検定の試験対策としても、AIの歴史を...
Web教科書

データ拡張

データ拡張(Data Augmentation)とは? 一言で言うと、「手持ちのデータを加工して、擬似的にデータを水増しする技術」です。 AI(ディープラーニング)は、学習データが少ないと、教科書を丸暗記するように答えだけを覚えてしまう「過...
Web教科書

テキスト拡張

テキストデータの拡張(Noising / Paraphrasing) 解説:文章を「カサ増し」する技術 画像データであれば、画像を少し回転させたり左右反転させたりしても「猫は猫」のままですが、テキストデータは一文字変わるだけで意味が変わって...
Web教科書

初期のRNN

エルマンネット / ジョルダンネット 解説:RNNの「始祖」たち 1990年代初頭に考案された、現代のRNNの原型となるモデルです。それまでのニューラルネットワークは「その瞬間の入力」しか見ることができませんでしたが、これらのモデルは過去の...
Web教科書

BPTT

Back Propagation Through Time (BPTT) 解説:時間を「巻き戻して」犯人を探す BPTT(時間方向の誤差逆伝播法)は、RNNを学習させるための専用アルゴリズムです。名前の通り、「時間の流れを遡って(Back ...
Web教科書

LSTM

Long Short Term Memory (LSTM) 解説:記憶を「ベルトコンベア」で運ぶ Long Short Term Memory(LSTM)は、RNNが抱えていた「昔のことをすぐに忘れてしまう(長期依存の学習が苦手)」という致...
Web教科書

GRU

Gated Recurrent Unit (GRU) 解説:LSTMを「断捨離」して高速化したモデル Gated Recurrent Unit(GRU)は、2014年に提案された、LSTMの改良版モデルです。 LSTMは非常に高性能でしたが...
Web教科書

教師強制

教師強制 (Teacher Forcing) 解説:間違った道を突き進むのを防ぐ「軌道修正」 教師強制(Teacher Forcing)とは、RNNなどの「時系列データを順番に生成するモデル(翻訳や文章生成など)」の学習において、モデル自身...
Web教科書

双方向RNN

双方向 RNN (Bidirectional RNN) 解説:未来をカンニングして答えを出す 双方向 RNN(Bidirectional RNN)は、データの時間を「過去から未来(順方向)」へ読むだけでなく、「未来から過去(逆方向)」へも同...
Web教科書

Attention

Attention(注意機構) 解説:AIに「メリハリ」を与える技術 Attention(アテンション)は、入力データの中で「今、どこに注目すべきか」をAI自身に判断させる仕組みです。 人間が翻訳をする時、文章を頭からお尻まで丸暗記してから...