STAGE 04 / 08

どこに注目する？

アテンション文脈約5分

文章を作る生成AIは、文の中の言葉（トークン）ごとに「前にあるどの言葉に、どれだけ注目するか」を計算して、その言葉の中身を決めています。これがアテンション（注目）です。札を選んでライトの当たり方を見て、「はし」が橋にも箸にもなるところを確かめましょう。

1札をクリックして、その言葉の目線で文を見てみよう図のどこをクリックしても動きますもっと詳しく学ぶなら：Udemy講座へ →
もっと詳しく・体系的に学びたい人へUdemy講座「図解でわかる！生成AIの解剖図鑑」このステージの内容は、講座の #1-5「Transformer」・#1-6「Self-Attention」で図解の動画でくわしく。生成AIの仕組み30本を、順番に体系的に学べます。講座を見る →

PREDICT「川の はし を 渡る」の「はし」は、どの言葉にいちばん注目する？

予想してから、文脈ダイヤルで「川 の はし を 渡る」にして「はし」の札をクリックし、確かめよう。
あそびかた上から順にやってみよう。図の番号が操作する場所です。
  1. 1クリック←→注目元（見る側）を選ぶライトが当たる札が注目先。明るく太いほど強く注目している。後ろの札が暗いのは、まだ書かれていない言葉には注目できないから。
  2. 2ダイヤルをドラッグC文を差し替える前にある言葉（ごはん・川・道）が変わると、「はし」が注目した言葉の中身が混ざり、中身が箸・橋・端に近づく。
  3. 3フェーダーをドラッグ↑↓注目の重みを手で動かしてみる1本を上げるとほかが下がり、合計は100%のまま。離すと計算の値に戻る。注目の重みは、文を読むたびにその場で計算される値だから。
言葉の札注目のライト重みのフェーダー注目元ボタン文脈ダイヤル合計フェーダー

しくみ

注目元を選ぶこの言葉の目線で、前の言葉のどこを見るか

文を差し替える文脈ダイヤルと同じ

※説明のための読み取り。本物は名前を選ばず、「はし」の数字の並びが近い言葉の側へ動く（→ STAGE 03「言葉の地図」）。

    合計100%

    図の見かた

    白く縁どった札：注目元（見る側）。自分自身にも注目するライトの明るさ・太さ／フェーダーの高さ：注目先への注目の重み（合計100%。色は札の位置ごと）暗い札：注目元より後ろの言葉（まだ書かれていないので0%）注目の重みは、注目元の「問い（クエリ）」と各言葉の「目じるし（キー）」の合い具合の点数を、softmax で合計100%に配ったもの（→ STAGE 01「次の言葉はくじ引きで決まる」と同じ計算）。後ろの言葉は点数を消して0%にする。注目元の新しい中身は、各言葉の「中身（バリュー）」をこの重みで混ぜて作る。注目の重みは STAGE 05 のパラメータ（重み）とは別。毎回計算され、その計算のしかた（問い・目じるし・中身の作り方）が学習で決まる。数字は説明用の例。本物（Transformer という仕組み）は、この計算1組（ヘッドと呼ぶ）をたくさん並べ、何十層も重ねている。

    ミッション 0 / 4

    • 「はし」を注目元にして、いちばん強く照らされる言葉（注目先）を見つける
    • 文を「川 の はし を 渡る」に差し替えて、「はし」の中身を「橋」に近づける
    • 「はし」の中身を 橋・箸・端 の3つすべてに近づけてみる
    • 文の最初の言葉を注目元にして、自分だけに100%注目するのを確かめる

    わかったこと

    • 言葉は、文の中の言葉（自分も含む）に注目して中身を決める。これがアテンション。文章を作る生成AIが注目できるのは、自分より前の言葉だけ（後ろはまだ書かれていない）。
    • 注目の重みは、見える言葉ぜんぶで合わせて100%（→ STAGE 01「次の言葉はくじ引きで決まる」と同じ softmax）。どこかを強く見れば、ほかは弱くなる。
    • 同じ「はし」でも、前にある言葉（ごはん・川・道）が違うと、注目した言葉の中身が混ざって、箸・橋・端に近づく。前に手がかりがないと決めきれない。

    確認クイズ 3問

    Q1. アテンション（注目の仕組み）がしていることは？

    Q2. 文章を作る生成AIが「川の はし を 渡る」を読むとき、「はし」の中身を橋に近づける手がかりは？

    Q3. 「はし」が「川」への注目を強めると、ほかの言葉への注目の重みはどうなる？

    NEXT · STAGE 05まちがいから学ぶ→