学
ログイン

GPTの仕組みを、ゼロから理解する

インタラクティブな可視化で、言語モデルの仕組みを一歩ずつ学ぶ。
始める
Chapter 1: 基礎LM
たった153個の数値で「ももたろう」を学習するAIを作る
Chapter 2: Positional Encoding
1文字だけでなく、文脈を考慮して予測する仕組みを学ぶ
Chapter 3: Self-Attention
文脈の中で「どの単語に注目すべきか」を自動で学ぶ仕組み
Chapter 4: Transformer ブロック
Multi-Head Attention + FFN + LayerNorm で GPT の基本ブロックを組み立てる
Chapter 5: GPT 全体像
Transformer ブロックを積み重ねて、テキストを生成する GPT の完全な姿