STAGE 01 / 08

次の言葉はくじ引きで決まる

次トークン予測温度確率約4分

文章を作る生成AI（大規模言語モデル、LLM）は、書き出し（プロンプト）の続きに来そうな言葉に「確率」をつけて、くじ引きのように1つ選びます。それをくり返すと文ができあがります。玉を落として、自分の手で文を作ってみましょう。

1図をクリックして、玉を1個落としてみよう図のどこをクリックしても動きますもっと詳しく学ぶなら：Udemy講座へ →
もっと詳しく・体系的に学びたい人へUdemy講座「図解でわかる！生成AIの解剖図鑑」このステージの内容は、講座の #1-9「推論と次トークン予測」で図解の動画でくわしく。生成AIの仕組み30本を、順番に体系的に学べます。講座を見る →

PREDICT温度を上げると、「ドーナツ」が選ばれる確率はどうなる？

予想してから、温度ダイヤルを回して、パネルの％で確かめよう。
あそびかた上から順にやってみよう。図の番号が操作する場所です。
  1. 1クリックSpace玉を1個落とす玉が入った区画の言葉が、文の次の1語になります（下の文に足されます）。
  2. 2長押し玉を連射する（文には足しません）広い区画ほど玉がたくさん入ります。区画の幅＝その言葉が選ばれる確率です。
  3. 3ダイヤルをドラッグ←→温度を変える温度が低いと1位の区画が広がり、高いと区画の幅がそろって意外な言葉も出ます。温度は答えを作るときの設定で、学習で決まる値ではありません。
0%50%100%
玉を落とす台車区画（仕切り）札玉温度ダイヤル目盛り

しくみ

今日の天気は

ふつう｜

    図の見かた

    玉：0〜100% のどこかにでたらめに落ちる（くじ引き）区画の幅：その言葉が選ばれる確率（全部で100%）温度ダイヤル：確率の差の大きさを変える設定区画の幅は、AIが各候補につけた点数（もっともらしさ）を温度で割り、softmax という計算で合計100%に割り振ったもの（温度1なら点数のまま）。点数は学習で決まる（→ STAGE 05「まちがいから学ぶ」）。候補と点数は説明用の例。本物の生成AIでは、候補は言葉より細かい「トークン」で（→ STAGE 02「言葉をこまかく切る」）、その数は数万〜十数万個ほど。同じ仕組みで1つ選ぶことを何度もくり返して文を作る。

    ミッション 0 / 4

    • 玉を落とし続けて、文を最後（「。」や「！」）まで完成させる
    • 温度を 0.2 まで下げて、図を長押し（または「10回試す」）。10個以上落とし、8割以上を同じ言葉に入れる
    • 温度を上げて、「ドーナツ」の区画に玉を入れる（長押しの連射が早い）
    • 同じ書き出しから、違う文を2つ完成させる

    わかったこと

    • 文章を作る生成AIは、次に来る言葉（トークン）の候補ごとに確率をつけている。
    • 確率でくじ引きして1つ選び、文に足す。それをくり返して文ができる。同じ質問でも答えが毎回変わるのは、このくじ引きのため。
    • 温度は、確率の差の大きさを決める設定。低いと1位にかたより、高いと意外な言葉も出る。学習で決まる値ではなく、答えを作るときに決める。

    確認クイズ 3問

    Q1. 文章を作る生成AIが、1語ごとにくり返していることは？

    Q2. 温度を上げると、区画の幅（確率）はどう変わる？

    Q3. 温度を0に近づけて、同じ書き出しから何度も文を作ると？

    NEXT · STAGE 02言葉をこまかく切る→