積層オートエンコーダの特徴
問題
積層オートエンコーダ(Stacked Autoencoder)について、正しい記述を1つ選べ。
解説
積層オートエンコーダ(Stacked Autoencoder)は、ディープラーニング黎明期(2000年代後半)に、層の深いニューラルネットワークを上手く学習させるために考案されたブレイクスルー手法です。
ネットワーク全体をいきなり学習させる(勾配消失などが起きる)のではなく、1層のオートエンコーダを学習させたらその中間層の出力を次のオートエンコーダの入力として使う、というように「層ごとに順番に事前学習(Pre-training)」を行い、最後に全体を微調整(Fine-tuning)することで、深いネットワークの学習を可能にしました。
1. 積層オートエンコーダは1層のみで構成され、深い特徴は学習できない。
誤り:オートエンコーダを複数層に「積み重ねる(Stacked)」ことで、より抽象的で深い特徴表現を獲得できるようにしたモデルです。
2. 積層オートエンコーダは層ごとに事前学習を行い、最後に全体を微調整する。
正しい:各層ごとに教師なしで「事前学習(貪欲層ごとの事前学習:Greedy Layer-wise Pre-training)」を行い、良い初期値を見つけてから、最後にネットワーク全体を微調整(Fine-tuning)します。
3. 積層オートエンコーダは教師あり学習でのみ利用される。
誤り:層ごとの事前学習は「教師なし学習」で行われます。最後にラベルを用いて微調整(教師あり学習)を行うケースが多いですが、モデルの基本は教師なし学習です。
4. 積層オートエンコーダは次元削減には使えない。
誤り:オートエンコーダを多層化することで、より複雑で高度な非線形の特徴抽出が可能になるため、高度な「次元削減」の手法としても有効です。
📚 より詳細を学びたい方へ
同じカテゴリの問題
- TPUの理解
- ノーフリーランチの定理の理解
- 全結合層の特徴に関する問題
- 全結合層のパラメータ数に関する問題
- 畳み込み層の役割に関する問題
- カーネル(フィルタ)の理解
- パディングの目的
- 特徴マップの理解
- CNNの構造に関する問題
- Depthwise Separable Convolution
- Dilation Convolution の理解
- 全結合層と畳み込み層の違い
- バッチ正規化(Batch Normalization)の理解
- 正規化層の役割に関する問題
- プーリング層の役割に関する問題
- 最大値プーリングと平均値プーリングの理解
- グローバルアベレージプーリング(GAP)の特徴
- スキップ結合の役割に関する問題
- Residual Network(ResNet)の特徴
- 回帰結合層の理解
- RNNの特徴に関する問題
- LSTMのゲート構造
- GRUの特徴に関する問題
- 双方向RNNの理解
- Attentionの役割に関する問題
- Self-Attentionの特徴
- Multi-Head Attentionの理解
- Transformerの構造に関する問題
- Encoder-Decoder Attentionの理解
- Seq2SeqとAttentionの関係
- オートエンコーダの基本理解
- 積層オートエンコーダの特徴
- 次元削減とオートエンコーダ
- 変分オートエンコーダ(VAE)の理解
- データ拡張の基本理解
- 画像データ拡張手法の理解
- テキストデータの拡張手法


