Web教科書

Q/K/V

クエリ・キー・バリュー (Query / Key / Value)

解説:AIによる「脳内検索システム」

Attention(注意機構)の計算プロセスは、よく「辞書検索」「ファイルの検索システム」に例えられます。入力されたデータをそのまま使うのではなく、役割の異なる3つのベクトル(Q、K、V)に変換してから処理を行います。

これを「図書館で本を探すとき」に例えると、以下のような役割分担になります。

図書館での検索イメージ

  • Query(クエリ): 「検索したい内容(質問)」
    探している人の頭の中にある要望です。
    (例:「猫の生態について知りたい!」)
  • Key(キー): 「背表紙のラベル(見出し)」
    本棚に並んでいる本が、何の本かを示すタグです。
    (例:本の背表紙に書かれた「犬」「猫」「鳥」などのタイトル)
  • Value(バリュー): 「本の中身(コンテンツ)」
    実際に手に入れたい情報そのものです。

    (例:本の中に書かれている「猫は夜行性で…」という文章データ)

Query Key Valueの計算イメージ図

Attentionの計算ステップ

AIはこの3つを使って、以下の手順で「重要な情報」を合成します。

  1. マッチング(Q × K):
    「探しているもの(Q)」と「背表紙(K)」を照らし合わせます。
    (「猫」×「犬」→ 関連度・低、「猫」×「猫」→ 関連度・高!
  2. 重み付け(Softmax):
    マッチングの結果(内積)を確率(%)に変換します。
    (この本は重要度90%、あの本は重要度5%…)
  3. 情報の取り出し(Weight × V):
    重要度に応じて、「中身(V)」を取り出して混ぜ合わせます。
    (関係ない本の情報は無視し、関係ある本の情報だけを濃く取り出す)

G検定対策

出題ポイント

  • 役割分担:「Q(質問)」と「K(索引)」で重要度を計算し、その度合いに応じて「V(中身)」を取得する。

ひっかけ対策

  • × クエリ(Q)とバリュー(V)を掛け合わせて重みを決める
    重み(関連度)を決めるのは「QとK」の相性です。Vは最後に掛け合わせる中身です。
  • × Q, K, Vは人間が手動で設定する
    これらは学習によって自動的に調整されるパラメータ(重み行列による変換結果)です。
タイトルとURLをコピーしました