Seq2SeqとAttentionの関係

問題

Seq2SeqモデルとAttentionの関係について、以下の記述のうち誤りを1つ選べ。

Seq2Seq（系列変換モデル）は、機械翻訳などで活躍したRNNベースのモデルですが、「どんなに長い文章でも、Encoderが1つの固定長のベクトル（内部状態）に圧縮しなければならない」という構造上のボトルネックがありました。

この弱点を補うために導入されたのがAttention（注意機構）です。

Attentionにより、Decoderが単語を生成する際、圧縮されたベクトルだけではなく「入力文のすべての単語（Encoderの各時点の出力）」を動的に参照できるようになり、翻訳精度が飛躍的に向上しました。

1. Seq2Seqは入力系列を圧縮して内部状態に保持し、出力系列を生成する。

正しい：Seq2Seqの基本は、Encoderが入力系列を処理して1つの文脈ベクトル（内部状態）に圧縮し、Decoderがそれをもとに出力系列を生成する構造です。

2. Seq2Seqは系列が長くなると情報を1つのベクトルに詰め込むため情報が失われやすい。

正しい：入力文が長くなればなるほど、1つの固定長ベクトルに全ての意味を詰め込むのは困難になり、情報が欠落する（長期依存性が失われる）という欠点がありました。

3. AttentionはSeq2Seqの弱点を補い、入力全体から重要な情報を動的に参照できるようにする。

正しい：Attentionは、出力する単語ごとに「入力文のどの単語に注目（Attention）すべきか」の重みを計算し、入力全体から必要な情報を直接取り出せるようにしました。

4. Seq2SeqはAttentionを使うと入力全体を参照できなくなるため性能が低下する。

誤り：Attentionを使うことで「入力全体を動的に参照できる」ようになり、長文でも情報が失われにくくなるため、モデルの性能は大幅に「向上」します。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ