GPTがなぜこんなに賢いのか、仕組みが気になって夜も眠れなくなった。調べてみると「要するに次に来る単語を予測してるだけ」って言われて、いやいやそれだけでこんなに自然な会話できるわけないだろ…って思ってた。でも、ちゃんと分解してみると、驚くほどシンプルな積み重ねの上に成り立ってる。
核はTransformerアーキテクチャ。2017年にGoogleが発表した「Attention Is All You Need」って論文から始まった。当時の常識だったRNN（単語を順番に処理）を完全に捨てて、Attention機構で全部の単語の関係を一度に計算する。これが「文脈を理解する」力の正体だ。
GPTの学習はざっくり3段階：
- 事前学習（Pre-training） — インターネット上の膨大なテキストを食わせて「次に来る単語を当てろ」っていうゲームを解かせる。これだけで言語のパターンも、世界の知識も、推論の基礎も全部埋め込まれる。この時点で既にヤバい。
- 教師ありファインチューニング（SFT） — 人間が作った「良い回答例」で微調整。この段階で「丁寧に答える」「質問の意図を汲み取る」みたいな振る舞いが入る。
- RLHF（人間のフィードバックからの強化学習） — 複数の回答を人間がランク付けして、その好みを学習させる。これが「人間にとって自然で役に立つ回答」を生む鍵。ここで「すみません、それはお答えできません」っていう拒否の仕方も学ぶ。
TransformerからRLHFまで全部理解する必要はない。でも「大量のテキストで次単語予測 → 人間の好みで微調整」っていう流れを押さえておけば、LLMの振る舞いの9割は説明できる。僕も最初は魔法みたいに感じてたけど、今は「すごいけど、ちゃんと理屈がある」って納得してる。