Self-Attentionの特徴

問題

Self-Attention（自己注意機構）について、正しい記述を1つ選べ。

Self-Attention（自己注意機構）は、Transformerアーキテクチャの根幹となる仕組みです。

従来のRNNが単語を「先頭から順番に」処理していたのに対し、Self-Attentionは「文中のある単語が、同じ文中の『他のすべての単語』とどれくらい関連しているか」を一度にまとめて計算（行列演算）します。

これにより、「銀行」という単語が「口座」に関連しているか「土手」に関連しているかといった文脈全体の構造を、並列かつ高速に捉えることができます。

1. Self-Attentionは入力内の隣り合う単語のみを参照して重みを計算する。

誤り：隣り合う単語だけでなく、文中の距離に関わらず「すべての単語同士」の関連度を計算できるのが最大の強みです。

2. Self-Attentionは各単語が他のすべての単語に注目し、関連度を計算する。

正しい：ある単語を処理する際、同じ入力系列内の他の全単語に対する注意の重み（Attentionスコア）を計算し、文脈全体を一度に捉えます。

3. Self-Attentionは単語の順序を自動的に理解できるため位置情報は不要である。

誤り：すべての単語を一度に並列処理するため「語順（位置情報）」が失われてしまいます。そのため、単語の入力時に「位置エンコーディング（Positional Encoding）」を足し合わせる必要があります。

4. Self-Attentionは計算量が少なく、RNNよりも必ず高速である。

誤り：並列計算できるため処理時間は短いですが、全単語の組み合わせを計算するため、計算量やメモリ消費量は「入力される文章の長さ（単語数）の二乗」に比例して爆発的に増えるという弱点があります。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ