「AIが自信満々に嘘をつく」——ハルシネーション（幻覚）はLLM最大の弱点であり、最大の特徴でもある。GPT-4だろうがClaude 3.5だろうが、確率的に100%防ぐことは原理的に不可能だ。
最初の頃、僕はハルシネーションを「バグ」だと思ってイライラしてた。でも仕組みを理解するうちに、これはバグじゃなくてLLMの本質的な特徴だって気づいた。LLMは「事実を答える機械」じゃなくて「もっともらしい文章を生成する機械」だから。
ハルシネーションが起きる主な理由：
- 確率分布の外れ値 — 訓練データにない質問に対して、無理やり確率の高い単語をつなげて「それっぽい」回答を作る
- 学習データのノイズ — インターネットには間違った情報が溢れてる。それを真に受けて学習してるケース
- RLHFの副作用 — 「丁寧に答える」ことを重視しすぎて、「わかりません」より「多分こうです」を選ぶ傾向
- 自己回帰の雪だるま — 最初の一言を間違えると、その後の文章が全部その間違いの上に積み上がる
僕が実践してるハルシネーション対策：
- 検証可能な質問に限定する — 「〜の文献を教えて」には答えるけど、「正しいか確認して」とは言わない。事実確認は自分でやる。
- 情報源を明示させる — 「出典も一緒に教えて」と頼む。間違ってたら辿れる。
- RAGを併用する — 事前に用意した信頼できる文書だけを参照させる。これが一番確実。
- 複数回聞いてクロスチェック — 同じ質問を言い回しを変えて複数回聞く。一貫性がない回答は疑う。
結局、LLMは「優秀だけど嘘つきの後輩」くらいの距離感がちょうどいい。全部信じるのは危険、全部疑うのはもったいない。