ChatGPTのAPIを使えば済む話なのに、わざわざGPU買ってローカルでLLMを動かす。傍から見たら完全に酔狂だ。でもローカルLLMには、クラウドAPIにはない圧倒的な自由がある。
最初にローカルLLMに手を出したきっかけは単純で、「APIのレート制限にイライラした」から。GPT-4 API、1分間に何回も叩くとすぐ制限がかかる。大量のテキスト処理をしたいときにこれがストレスで、ローカルLLMを試し始めた。
ローカルLLMの本質的なメリット：
- 完全なプライバシー — データが一切外部に出ない。顧客情報も、個人メモも、恥ずかしい小説の下書きも、安心して処理できる。
- 制限ゼロ — レート制限なし。1日100万リクエスト送ろうが誰にも怒られない。
- 検閲なし — 「お答えできません」と言われない。Uncensoredモデルも使える。研究目的ならこれは重要。
- コストゼロ（電気代のみ） — 一度GPUを買えば、APIの従量課金から解放される。1日500回GPT-4を呼ぶと月$100超えるけど、ローカルなら無料。
- 実験の自由 — ファインチューニング、モデルマージ、プロンプト注入、何でもできる。
もちろんデメリットもある：
- 初期投資 — GPU（RTX 3090中古で10万円前後、4090で25万円〜）
- 賢さはまだAPI版に及ばない — 特に日本語の複雑な推論はGPT-4oに軍配
- 運用の手間 — セットアップ、アップデート、モデルの管理。面倒は面倒
でもこの「自分のマシンでAIが動く」っていう感覚、一度味わうとクセになる。まるで「自分の頭脳」がもう一つ増えたみたいで。