Transformerの構造に関する問題

問題

Transformerモデルについて、正しい記述を1つ選べ。

Transformerは、2017年にGoogleが発表した「Attention Is All You Need」という論文で提案された画期的な深層学習モデルです。

最大の特徴は、それまで自然言語処理の主流だったRNN（回帰結合）やCNN（畳み込み）を完全に排除し、「Attention（注意機構）のみ」でネットワークを構成した点です。

RNNの弱点だった「順番にしか計算できない」制約がなくなり、GPUでの超大規模な並列計算が可能になったことで、ChatGPTなどの大規模言語モデル（LLM）の基盤となりました。

1. TransformerはRNNをベースにしており、Attentionは補助的に使われる。

誤り：Transformerの最大の発明は、RNNやCNNを使わず、「Attention（自己注意機構）のみ」で系列データを処理できることを証明した点です。

2. TransformerはSelf-AttentionとFeedForward層を基本構造とする。

正しい：Transformerの各ブロック（Encoder/Decoder）は、文脈を捉える「Multi-Head Self-Attention層」と、各単語の情報を変換する「Feed Forward層（全結合層）」の組み合わせで構成されています。

3. Transformerは逐次処理が必要なため並列計算ができない。

誤り：RNNのような逐次処理（順番待ち）が不要になり、文中のすべての単語を「同時に並列計算」できるようになったことが最大の強みです。

4. Transformerは短文には強いが長文処理は苦手である。

誤り：Attention機構により、遠く離れた単語同士の関係性を直接計算できるため、RNNが苦手としていた「長文の文脈処理（長期依存性の学習）」に非常に強いです。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ