STAGE 02 / 08

言葉をこまかく切る

トークントークン数約4分

生成AIは、文を1文字ずつではなく、言葉の部品（トークン）に切ってから読み書きします。よく出る並びは大きな1つの部品、棚（語彙）にない並びは細かい部品に。言葉を打って、テープが切れるところを見てみましょう。

1図をクリックして、テープを切ってみよう図のどこをクリックしても動きますもっと詳しく学ぶなら：Udemy講座へ →
もっと詳しく・体系的に学びたい人へUdemy講座「図解でわかる！生成AIの解剖図鑑」このステージの内容は、講座の #1-3「トークナイザー」・#3-2「コンテキストウィンドウ」で図解の動画でくわしく。生成AIの仕組み30本を、順番に体系的に学べます。講座を見る →

PREDICT「薔薇」（2文字）は、いくつの部品（トークン）に切れる？

予想したら、例の「珍しい字」を切って確かめよう。
あそびかた上から順にやってみよう。図の番号が操作する場所です。
  1. 1クリックEnterテープを部品に切る刃は、部品棚（語彙）にあるいちばん長い並びの終わりで降ります。切れた片の1つ1つがトークンで、オレンジの数取り器がその数を数えます。
  2. 2台をドラッグSpace自分の手で、1片ずつ切り進める刃は切れ目でしか降りず、台は次の切れ目を越えられません。どこで切るかを決めているのは、棚（語彙）にある並びです。
  3. 3長押し続けて打って、離すと切れるよく使う言葉は大きな1片、棚にない字は文字より細かい片に切れます。トークン数は文字数と同じではありません。
000TOKENS
紙テープ刃の台照合窓部品棚（語彙）数取り器キーボードと印字機

しくみ

例：

0トークン0文字

    この機械が一度に読めるのは 16 トークンまで（説明用の上限）。

    切った文文字トークン

    図の見かた

    刃：部品棚（語彙）にある、いちばん長い並びの終わりで降りる切れた片＝トークン。色は片ごとの区別。ピンクの細い片は、文字より細かい部品（バイト）。下の一覧では点線の枠オレンジの数取り器：切れた片の数（トークン数）。上限の 16 を超えるとピンクになる部品棚（語彙）はこの機械のために作った小さな例で、部品は約2,200個、番号（ID）も説明用。棚が小さいので、ふつうの字でも細かく切れることがある。本物の生成AIでは、語彙は数万〜十数万個ほど。この機械は先頭からいちばん長い並びを選ぶ切り方だが、本物の多く（BPE）は、学習で決めた順に文字をくっつけていく方式で、手順が違う。棚にない文字は、文字の中身（バイト：コンピュータが文字を記録するときの数字。日本語1文字はふつう3つ、絵文字は4つ）ごとに切れる。一覧の「1/3」は、3つに分けたうちの1つ目という意味。

    ミッション 0 / 4

    • 「よく使う言葉」と「珍しい字」を両方切って、トークン数をくらべる
    • 1つの文字が、文字よりも細かい部品（バイト）に切れるところを見る
    • 自分で言葉を打って切る（例や長押しの文は除く）
    • 自分で打った20文字以上の文を、上限の 16 トークン以内に収める

    わかったこと

    • 生成AIは文をそのまま読まず、言葉の部品（トークン）に切ってから扱う。部品はそれぞれ番号で表され、この番号が次に、意味の地図の上の位置（ベクトル）に置きかえられる（→ STAGE 03「言葉の地図」）。
    • 語彙（部品棚）にある、よく出る並びは1つの部品にまとまり、棚にない字や並びは細かく切れる。同じ内容でも、日本語は英語よりトークン数が多めになりやすい（AIによって差は大きい）。
    • 一度に読める長さの上限や、APIなどの従量課金の料金は、文字数ではなくトークン数で数えられることが多い。AIが返す答えの長さもトークンで数える。

    確認クイズ 3問

    Q1. 生成AIの「トークン」とは何のこと？

    Q2. 「今日はいい天気ですね」（10文字）は、この機械で5トークンに切れた。トークン数について正しいのは？

    Q3. 上限が 16 トークンの機械に、20文字の文を読ませたい。上限に収まりやすいのは？

    NEXT · STAGE 03言葉の地図→