STAGE 07 / 08

ノイズから絵が生まれる

画像生成拡散モデル約5分

多くの画像生成AIは、砂嵐のようなノイズから出発し、少しずつノイズを取りのぞいて絵にします。どの絵に向かって消すかを決めるのが指示文(プロンプト)で、この機械では目標ダイヤルがその役です。ハンドルを回して、ピンが絵にそろっていく様子を見てみましょう。

1図をクリックして、ノイズを消そう図のどこをクリックしても動きますもっと詳しく学ぶなら:Udemy講座へ →
もっと詳しく・体系的に学びたい人へUdemy講座「図解でわかる!生成AIの解剖図鑑」このステージの内容は、講座の #4-1「拡散モデル」・#4-2「画像生成の条件付け」で図解の動画でくわしく。生成AIの仕組み30本を、順番に体系的に学べます。講座を見る →

PREDICT同じ砂嵐(同じ種)のまま、目標ダイヤルで目標だけを変えると?

予想してから、目標ダイヤルをクリックして確かめよう。
あそびかた上から順にやってみよう。図の番号が操作する場所です。
  1. 1クリックSpaceノイズを1手順ぶん消す最初の数回は、形がほとんど見えません。ノイズが多いうちは少しずつしか消せず、何回もくり返すうちに絵が出てきます。
  2. 2長押しSpace長押し最後まで回して絵を完成させるノイズが0%で完成。完成図は見本の丸写しではなく、見本の部分を組み合わせた新しい絵です。
  3. 3ダイヤルをクリック1〜4目標(指示文=プロンプト)を変える同じ砂嵐からでも、どの絵に向かってノイズを消すかが変わります。これが指示文(プロンプト)の役目です。
ピン盤ハンドル目標ダイヤルノイズ計向きのレバー種ボタン見本の箱

しくみ

真上から見た盤面

「猫」を目指して 0/10手順

残りのノイズ100%

目標(指示文)
手順の回数
乱数の種(砂嵐の番号)1
完成した絵
完成すると、新しい順に4枚まで並びます

種が同じ番号なら、同じ砂嵐から始まります。目標や回数を変えると、いまの種の砂嵐から最初からやり直します。

図の見かた

ピン:1本=絵の1画素。高さ(色の濃さ)が明るさハンドル:少し回す=1手順(ノイズを1手順ぶん消す)右手前の箱:学習で覚えた「絵らしさ」の例(本物は画像そのものは持たず、ノイズの消し方を覚えた数値=パラメータだけを持つ)本物の拡散モデルの簡略版。ノイズの足し方と、ノイズの減らし方の決まりは本物と同じ式。どのノイズを消すかの見積もりは、本物ではAIの部品(ニューラルネットワーク)が予測する。ここでは代わりに、ピンごとに「まわりの数本」だけを架空の見本(家・木・猫 各8枚)と比べ、近い見本ほど重くして平均している。ピンごとに頼る見本が違うので、完成図は見本の丸写しではなく、部分を組み合わせた新しい絵になる(ときどき変な絵にもなる)。ノイズが多いうちは大まかな形しかわからないことを、ぼかしで表している。見本と数字は説明用の例。

ミッション 0 / 4

  • ハンドルを最後まで回して、砂嵐から絵を完成させる
  • 手順「2回」と「25回以上」の両方で完成させ、「完成した絵」で細かさを見比べる
  • 目標と手順の回数はそのまま、乱数の種だけ変えて、形の違う絵を2枚完成させる
  • 完成した絵を「ノイズを足す」向きに回して、砂嵐まで戻す(学習の向き)

わかったこと

  • 多くの画像生成AI(拡散モデル)は、砂嵐のようなノイズから少しずつノイズを消して絵にする。指示文(プロンプト)は「どの絵に向かって消すか」を決める。
  • 学習では、学習用の画像にノイズを足し、足したノイズを当てる練習をする(→ STAGE 05「まちがいから学ぶ」)。覚えるのはノイズの消し方を表す数値(パラメータ)で、画像をしまって貼り合わせているのではない(ただし、まれに学習画像そっくりの絵が出ることはある)。
  • 手順(ステップ)が少なすぎると粗くなるが、増やしすぎても見た目はほとんど変わらず時間だけかかる。乱数の種(砂嵐の番号)が変わると、同じ指示文でも別の絵になる(→ STAGE 01「次の言葉はくじ引きで決まる」)。

確認クイズ 3問

Q1. ノイズを消す手順(ステップ)の回数について、正しいのは?

Q2. 拡散モデルが学習で身につけるものは?

Q3. 目標(指示文)と手順の回数を同じにし、乱数の種も同じ番号にして2回作ると?

NEXT · STAGE 08道具を使うAI→