クエリ・キー・バリュー (Query / Key / Value)
解説:AIによる「脳内検索システム」
Attention(注意機構)の計算プロセスは、よく「辞書検索」や「ファイルの検索システム」に例えられます。入力されたデータをそのまま使うのではなく、役割の異なる3つのベクトル(Q、K、V)に変換してから処理を行います。
これを「図書館で本を探すとき」に例えると、以下のような役割分担になります。
図書館での検索イメージ
- Query(クエリ): 「検索したい内容(質問)」
探している人の頭の中にある要望です。
(例:「猫の生態について知りたい!」) - Key(キー): 「背表紙のラベル(見出し)」
本棚に並んでいる本が、何の本かを示すタグです。
(例:本の背表紙に書かれた「犬」「猫」「鳥」などのタイトル) - Value(バリュー): 「本の中身(コンテンツ)」
実際に手に入れたい情報そのものです。(例:本の中に書かれている「猫は夜行性で…」という文章データ)

Attentionの計算ステップ
AIはこの3つを使って、以下の手順で「重要な情報」を合成します。
- マッチング(Q × K):
「探しているもの(Q)」と「背表紙(K)」を照らし合わせます。
(「猫」×「犬」→ 関連度・低、「猫」×「猫」→ 関連度・高!) - 重み付け(Softmax):
マッチングの結果(内積)を確率(%)に変換します。
(この本は重要度90%、あの本は重要度5%…) - 情報の取り出し(Weight × V):
重要度に応じて、「中身(V)」を取り出して混ぜ合わせます。
(関係ない本の情報は無視し、関係ある本の情報だけを濃く取り出す)
G検定対策
出題ポイント
- 役割分担:「Q(質問)」と「K(索引)」で重要度を計算し、その度合いに応じて「V(中身)」を取得する。
ひっかけ対策
- × クエリ(Q)とバリュー(V)を掛け合わせて重みを決める
重み(関連度)を決めるのは「QとK」の相性です。Vは最後に掛け合わせる中身です。 - × Q, K, Vは人間が手動で設定する
これらは学習によって自動的に調整されるパラメータ(重み行列による変換結果)です。
