Encoder-Decoder Attentionの理解

問題

Encoder-Decoder Attention（Source-Target Attention）について、以下の記述のうち誤りを1つ選べ。

TransformerなどのSeq2Seq（系列変換）モデルにおいて、Attention機構には主に2つの使われ方があります。

1つは同じ文章内での関係性を計算する「Self-Attention（自己注意）」、もう1つが「Encoder-Decoder Attention（ソース・ターゲット注意）」です。

後者は、例えば機械翻訳において、Decoderが「日本語（出力文）」を生成する際に、Encoderが処理した「英語（入力文）のどの単語に注目すべきか」を参照するための架け橋となる極めて重要な仕組みです。

1. Encoder-Decoder Attentionはエンコーダの出力とデコーダの内部状態を結びつける。

正しい：Encoderが入力文から抽出した情報（特徴ベクトル）と、Decoderがこれまで生成した出力情報（内部状態）とを結びつける働きをします。

2. Encoder-Decoder Attentionは入力文（ソース文）の意味を参照しながら出力文を生成する。

正しい：Decoderが次の単語を予測する際、「元の入力文（ソース文）のどの部分が重要か」を確率的に計算（参照）しながら生成を進めます。

3. Encoder-Decoder AttentionはSelf-Attentionと同一の仕組みとして扱われ、入力と出力の区別を前提としない。

誤り：Self-Attentionは「入力文の中だけ」または「出力文の中だけ」で完結する仕組みですが、Encoder-Decoder Attentionは「入力文（Encoder出力）」と「出力文（Decoder内部状態）」という2つの異なる系列間の対応付けを行います。

4. Encoder-Decoder AttentionはTransformerのDecoderで使用される。

正しい：Transformerのアーキテクチャにおいて、Decoderブロックの中間層に配置され、Encoderの最終出力結果を受け取ってAttentionを計算します。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ