Attentionの役割に関する問題

問題

Attention（注意機構）の役割について、以下の記述のうち誤りを1つ選べ。

Attention（注意機構）は、ディープラーニングにおいて「入力データのどの部分に強く注目すべきか」をモデル自身に学習させる画期的な仕組みです。

従来のSeq2Seq（RNNベースの翻訳モデルなど）は、長い文章を無理やり「1つの固定長のベクトル」に圧縮していたため、情報がこぼれ落ちていました。

Attentionは「出力する単語ごとに、入力された文章の各単語をどれくらいの比重（重み）で見ればよいか」を計算することで、翻訳精度を劇的に向上させました。

1. Attentionは入力全体を参照し、重要な部分に重みをつけて処理する。

正しい：入力の全要素に対して「Attentionスコア（重要度）」を計算し、注目すべき部分の情報を強く反映させて処理を行います。

2. AttentionはRNNのように逐次処理を行うため並列計算が難しい。

誤り：Attention機構自体は単純な内積などの行列計算であり、「Transformer」のようにRNNを廃止してAttentionのみで構成されたモデルは、並列計算が非常に得意です。

（※RNNと組み合わせた場合は逐次処理になりますが、Attentionの特性としての誤りはここになります）

3. Attentionは長期依存の問題を改善する。

正しい：どんなに離れた位置にある単語同士でも直接関係性（スコア）を計算できるため、RNNの弱点であった「長期依存問題」を根本的に解決しました。

4. Attentionは翻訳や文章生成などで高い性能を発揮する。

正しい：機械翻訳でブレイクスルーを起こし、その後Transformerへと発展して、現在のChatGPT（LLM）などの圧倒的な性能を支えるコア技術となっています。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ