01
Transformer の仕組み
この先のフェーズはすべて Transformer の上に乗ります。codex-skills で使っているエージェントも、Phase 2 で作る RAG も、Phase 3 の Tool use も同じ土台です。ここを飛ばすと、以降の「なぜそう動くのか」がすべて暗記になります。
答えられるようになりたい問い
Attention は何を計算しているのか。なぜ再帰なしで系列を扱えるのか。
手を動かして確かめる
短い文を 1 つ選び、各トークンがどのトークンを参照するかを図に描いてみる。数式ではなく矢印で説明できれば十分です。
参考資料 — 8 件
まずこれ。図だけで全体像がつかめる。数式は出てこない。
同じ内容を動画で。行列演算が何をしているかの直感が得られる。
手を動かす用。写経すると Attention が数十行で書けることがわかる。
原典。上の解説を読んだ後なら図 1 と 3.2 節だけでも読める。
論文の各段落に実装を並べたもの。原典で詰まったら参照する。
中文の定番教材。数式と実装が並んでいるので、図解の次に読むならこれ。
原論文を 1 段ずつ読み下す動画。英語の原典が重いときの入口になる。
実装寄りの中文教材。Hugging Face を触りながら仕組みを追える。